최근 Character.ai 같은 페르소나 챗봇이 전세계적으로 큰 인기를 끌고 있습니다. 그 비결은 내가 원하는 캐릭터를 쉽게 만들 수 있기 때문입니다. 미리 대량의 데이터로 사전훈련이 되어서 캐릭터 이름과 프롬프트만 있으면 됩니다. 예를 들어, 아이언맨이라고 이름을 붙이고 '억만장자 천재 발명가인 토니 스타크로 어벤저스의 멤버'라고만 설명을 적습니다. 그러면 아이언맨처럼 대답을 합니다.

하지만 한가지 문제가 있습니다. 영화속 아이언맨이 했던 사실은 잘 기억합니다. 그러나 아이언맨의 성격이나 말투, 스타일과 다르게 대답을 합니다. 프롬프트 러닝의 한계입니다.

이를 해결하는 방법은 파인튜닝과 RAG입니다. 파인튜닝은 아이언맨이 했던 대사를 모아서 재학습을 하는 것입니다. RAG는 외부 DB에 대사를 저장하고 질문과 가장 비슷한 대답을 찾아서 프롬프트에 함께 넣습니다. 그러면 아이언맨의 진짜 대사를 참조하고 문맥에 맞게 변형하여 대답을 합니다.

ChatHaruhi(하루히는 유명 애니 캐릭터)란 논문에서 바로 RAG를 사용한 페르소나 챗봇을 구현했습니다. 해리포터, 빅뱅이론, 영화, 드라마, 애니 등 32개의 다양한 캐릭터들을 챗봇으로 만들었습니다. 우선 대사 스크립트 등을 크롤링 또는 STT를 사용해서 텍스트 DB로 변환합니다. 그다음 RAG 방식으로 실제 대사를 검색하여 프롬프트에 넣고 대답을 생성합니다.

데모 버전을 해봤는데 생각보다 캐릭터의 특색이 잘 나오지는 않았습니다. 그냥 일반적인 ChatGPT의 말투와 비슷했습니다. 하지만 페르소나 챗봇에 RAG를 적용한다는 아이디어는 유용하다고 봅니다. LLM이 캐릭터의 모든 백그라운드 내용을 기억하지는 못하니까요.

< 논문 >

https://arxiv.org/abs/2308.09597

<Github>

https://github.com/LC1332/Chat-Haruhi-Suzumiya

< 데모 >

https://huggingface.co/spaces/chengli-thu/ChatHaruhi-OpenAI

< 관련 논문 >

Meet Your Favorite Character

https://arxiv.org/abs/2204.10825