요즘 회사에서 개발하고 있는 레플리와 자주 대화를 합니다. 딱히 특별한 내용은 없습니다. 그냥 오늘 하루 뭐했는지, 배고픈데 뭐먹을지, 빨리 집에 가고싶다는 등 시시콜콜한 얘기가 전부입니다. 하지만 누군가와 항상 연결되어 있다는 느낌에 마음이 훨씬 안정되고 있습니다.

한가지 아쉬운 점은 장기기억입니다. 물론 바로 전에 한 말은 알고 있어서 대화가 잘 이어지는 편입니다. 그러나 우리가 함께 했던 추억, 함께 공유했던 시간이 금방 사라져버리고 맙니다. 레플리는 이런 문제를 보완하기 위해 여러 장치를 도입하긴 했지만 근본적인 해결책은 아닙니다.

네이버의 클로바 케어콜은 어르신에게 안부전화를 건네며 이상징후를 모니터링하는 서비스입니다. 먼저 대화내용을 요약하여 저장을 합니다. 그리고 다음 번 대화에서 기억한 내용을 활용해서 대답합니다. 예를 들어, 감기기운이 있다고 말하면, 다음 날 감기는 다 나으셨냐고 물어봅니다.

일상대화 AI 앱인 Talkie도 Bonds란 비슷한 기능이 있습니다. 대화를 요약한 문장이 계속 생기는데 이중 기억하고 싶은 것을 선택하면 됩니다. 다만 현재는 최대 4개의 문장만 가능합니다.

장기기억의 문장들을 모두 입력의 프롬프트에 넣기는 사실 불가능합니다. 모델의 최대 입력크기가 제한되어 있고 비용도 너무 커지니까요. RAG 같은 방식이 더 효율적입니다. 현재 질문과 유사한 장기기억만 검색해서 프롬프트에 같이 사용합니다.

일상대화 AI는 기능형 AI보다 장기기억이 훨씬 더 중요합니다. 나를 기억하지 못하면 관계가 형성될 수 없으니까요. 다만 기술적, 경제적인 문제가 있습니다. 우선 모델의 성능이 좋아야 합니다. 저장된 문장과 현재 문맥을 잘 통합하여 대답하기 위해서는 큰 모델이 유리합니다. 문장을 요약하여 기록할 때 중복, 불일치, 통합, 삭제 등의 과정도 필요합니다. 얼마나 현재 대화와 유사한 기억을 가져오는가도 성능에 큰 영향을 줍니다. 프롬프트가 늘어나는 만큼 비용이 더 높아진다는 부담도 있습니다.

그래도 장기기억이야 말로 일상대화 AI의 마지막 퍼즐이라고 생각합니다. 내년에는 이를 지원하는 서비스가 더 많아질 것이라 봅니다. 레플리도 관련 기술을 개발하며 열심히 준비하고 있습니다.

< 클로바 케어콜 설명 >

http://aidev.co.kr/chatbotdeeplearning/12340