[도서리뷰] AI 시스템 설계 - 데모에서는 잘 되던 AI가 운영에서 흔들리는 이유

·
◈ 공부모임/나는 리뷰어다🌾
한빛미디어 서평단 활동을 위해서 책을 협찬 받아 작성된 서평입니다. LLM이 답을 줬는데, 이 답이 왜 틀렸는지 설명할 수 있을까? 요즘 AI 기능을 붙이는 일은 예전보다 훨씬 쉬워졌습니다. API를 연결하고 문서를 검색해 답변에 넣으면 데모 화면은 금방 나옵니다. 몇 가지 질문을 던져 보고 그럴듯한 답이 돌아오면 일단 안심하게 됩니다. 그런데 운영에 들어가는 순간 질문이 달라집니다. 답변이 틀렸을 때 검색 결과가 문제인지, 프롬프트가 문제인지, 모델이 맥락을 놓친 건지 어디서부터 봐야 할까요? 백엔드 개발에서는 장애가 나면 로그와 지표를 따라 원인을 좁혀 갑니다. AI 기능 앞에서는 그 익숙한 감각이 자주 막힙니다. 요청은 성공했고 응답도 왔는데 내용만 틀릴 수 있기 때문입니다. 게다가 에이전트가 외..