교육 및 지식 공유 플랫폼인 클라썸에서 AI 도트 2.0을 선보였습니다. 커뮤니티에서 사용자가 질문을 하면 인공지능이 기존 정보들을 검색해서 알려주는 기능입니다.

첫번째는 과거 글에서 비슷한 내용을 찾아줍니다. 예를 들어, '비상 연락망 어디에서 볼 수 있나요'라고 물어보면 '사내 연락처를 어디에서 확인할 수 있을까요?'와 같은 이전 글을 보여줍니다. 이건 기존 BERT 같은 모델을 활용한 것 같습니다. 질문을 임베딩으로 만들고 현재 질문과 가장 유사한 임베딩을 가진 문장을 검색합니다.

두번째가 더 재미있는데요. GPT-3.5가 직접 답변을 생성해줍니다. 이때 GPT가 기억하고 있는 내용만 말하면 당연히 부정확할 수밖에 없습니다. 그래서 검색(retrieval) 방식을 사용했을 것으로 보입니다. 먼저 질문과 유사한 이전 글을 임베딩으로 검색합니다. 그리고 전체 또는 일부 문장을 GPT에 프롬프트로 넣어서 참고하기 때문에 보다 정확한 대답을 생성합니다.

ChatGPT 플러그인에도 이와 비슷한 Retrieval이란 기능이 내장되어 있습니다. 플러그인을 쓰던 자체적으로 구현하던 이런 검색 후 생성 방식이 매우 유용하게 쓰일 거라 봅니다. 사실 이건 예전 MRC(Machine Reading Comprehension)부터 있었던 기법이었으니까요. 그때는 단순히 검색한 단락에서 정답 단어의 시작과 끝만 BERT로 찾았습니다. 이제는 GPT가 생성으로 더욱 정확하고 유연하게 대답을 만들게 되었습니다.

< 클라썸 AI 도트 2.0 >

https://guide.classum.com/cdd3504f-2075-47f9-9564...