https://www.facebook.com/permalink.php?story_fbid=827682512287516&id=100051373252376

최근 RAG를 적용한 서비스들이 점점 늘어나고 있습니다. ChatGPT의 환각(hallucination)을 줄일 수 있는 가장 좋은 방법이기 때문입니다. 특히 자사 서비스에 특화된 챗봇을 만들 때는 반드시 필요한 기술입니다. ChatGPT는 자기가 학습한 내용이 아니면 대답을 잘 못하니까요.

RAG 사용시 주의해야 할 점들을 설명한 글입니다. Vector DB 뿐만 아니라 기존 BM25 같은 기법들을 섞은 하이브리드 방식이 효과적이라 합니다. 또한 표나 이미지 같은 정보를 어떻게 처리할 것인지도 중요합니다. 이런 노하우를 가지고 있는가에서 RAG 회사들의 경쟁력이 차별화됩니다. 그만큼 AI 엔지니어의 수요도 높아질 테고요.

----------------------------

김성현 님의 아래 댓글도 유용합니다.

저희도 neural search를 서비스에 활용하고 있는데, 이런 문제들이 발생하더라구요.

1. 모델 업데이트가 쉽지 않다

- 모델이 업데이트 되면, 임베딩 벡터도 업데이트해야하는데..

- 수백만건의 문서의 임베딩 벡터를 전부 다시 업데이트.. 데이터 관리자가 거절한다.

2. Strong hallucination

- LLM은 검색된 결과를 사실로 믿고 답변하도록 훈련됐기 때문에, 잘못검색된게 들어가면 엄청난 할루시가 발생한다.

3. 유저는 매우 짧게 질의한다.

- 뉴스 기반의 질의응답 서비스를 운영중인데.. 단순히 '조선' 이라고만 입력하고 답변이 안나온다는 피드백을 받았다.

- 유저의 질의 의도는 '조선업 관련주' 였고, 검색된 뉴스는 속보 뉴스로, 본문에 '잠시 후 업데이트됩니다.' 라고 한 줄이 적혀있는 뉴스들이 반환되었다.

4. 신조어 같은 unseen 용어에 대해선 임베딩 성능이 매우 하락한다.

확실한건 BM25와 같은 기존 검색 알고리즘도 필수로 활용되어야 할 것 같습니다..ㅜㅜ