https://deview.kr/data/deview/session/attach/[246]Remember+Me+%EB%A7%9E%EC%B6%A4+%EC%BC%80%EC%96%B4%EB%A5%BC+%EC%9C%84%ED%95%9C+%EA%B8%B0%EC%96%B5%ED%95%98%EA%B8%B0+%EC%B1%97%EB%B4%87.pdf

https://tv.naver.com/v/33923955

DEVIEW 2023에서 흥미로운 발표가 있었습니다. 챗봇의 가장 큰 문제점인 장기기억에 대한 주제였습니다. 현재 LLM을 사용하는 챗봇은 여러 턴의 문맥을 이해할 수 있습니다. 이는 앞이 문장들을 포함하여 입력에 넣기 때문입니다. 그러나 단기기억은 가능하지만 시간이 오래 지난 일은 까먹게 됩니다.

클로바 케어콜은 어르신들에게 안부인사를 건네며 이상징후를 모니터링하는 AI 서비스입니다. 네이버의 초거대AI인 하이퍼클로바를 사용합니다. 최근에 대화 기억하기 기능을 추가했는데 여기에 대해 간략하게 정리한 내용이 공개됐습니다.

첫째, 대화 내용을 요약합니다. 설명에는 나오지 않았는데 아마 이것 역시 하이퍼클로바로 생성했을 것 같습니다.

둘째, 요약한 문장을 장기기억 DB에 저장합니다. 이때 모순, 중복, 포함 등의 관계를 판단하여 추가하거나 삭제합니다.

셋째, 장기기억의 문장을 프롬프트로 함께 넣어서 질문 문장을 생성합니다. 이 경우 장기기억에서 특정 문장을 선택해서 그것만 넣는지, 아니면 모든 장기기억을 한 번에 넣는지는 나와있지 않습니다. 제 예상에는 현재 대화 맥락에 맞는 장기기억을 선택하는 과정(이것 역시 하이퍼클로바?)이 있을 듯 합니다.

메타에서 만든 Blenderbot2.0에서도 장기기억이 적용되었습니다. 여기서는 요약한 내용을 임베딩으로 저장해서 모델 연산에 바로 적용했습니다. 반면에 클로바 케어콜에서는 문장 자체를 저장하여 프롬프트에 같이 넣는다는 차이가 있습니다.

앞으로 나올 챗봇들은 이런 장기기억 능력이 필수적으로 포함될 것입니다. 그러기 위해서는 아무래도 LLM이 유리합니다. 모델 크기가 작으면 Blenderbot처럼 임베딩 방식으로 기억을 저장해야 하는데, 이런 방법은 유연성이 떨어지고 학습도 어렵습니다. 모든 것을 초거대AI에 맡기는 것이 좀 더 편리하지 않을까 생각합니다.