https://brunch.co.kr/@andkakao/98?fbclid=IwAR09zTD26ffD2QwypEIDT_U2eesxqPDZjby4wF7dWJD-RzighrdCwDNuXdw

카카오의 유사도 판별 엔진인 심슨에 대한 소개입니다. 카카오 고객 센터 챗봇에 도입되었다고 합니다. 사용자가 질문을 하면 먼저 카카오 i 오픈빌더에 정의된 의도를 찾아 해당 시나리오를 실행합니다. 만약 일치하는 의도가 없다면 FAQ에서 질문과 가장 유사한 답변들을 목록으로 보여줍니다. 이건 오픈빌더가 아니라 스킬 서버에서 처리하는데, 아마 여기에서 문장의 유사도를 판별하기 위해 사용된 알고리즘 같습니다.

기본적으로는 doc2vec이나 sent2vec 같이 문장을 벡터로 변환하여 각 벡터 사이의 거리를 구합니다. 동영상을 보니 단어마다 가중치를 달리 설정하는게 차이가 있는 듯 합니다.

이런 기능을 챗봇 빌더 자체에 포함시킬 수는 없을까요. 지금은 각 의도마다 가능한 문장들을 수십개씩 입력해야 합니다. 챗봇 제작자 입장에서는 가장 손이 많이 가고 귀찮은 일입니다. 몇 개 문장만 정의하고 자동으로 유사도를 파악하면 상당히 편해집니다. 다만 특정 영역이 아니라 모든 텍스트에 대해서 유사도 벡터를 만드는게 쉽지 않습니다. 상용화할 만큼 정확도를 높이는게 문제라고 생각합니다.