글 수 124


 

https://brunch.co.kr/@andkakao/98?fbclid=IwAR09zTD26ffD2QwypEIDT_U2eesxqPDZjby4wF7dWJD-RzighrdCwDNuXdw

 

 

 

카카오의 유사도 판별 엔진인 심슨에 대한 소개입니다. 카카오 고객 센터 챗봇에 도입되었다고 합니다. 사용자가 질문을 하면 먼저 카카오 i 오픈빌더에 정의된 의도를 찾아 해당 시나리오를 실행합니다. 만약 일치하는 의도가 없다면 FAQ에서 질문과 가장 유사한 답변들을 목록으로 보여줍니다. 이건 오픈빌더가 아니라 스킬 서버에서 처리하는데, 아마 여기에서 문장의 유사도를 판별하기 위해 사용된 알고리즘 같습니다.

 

기본적으로는 doc2vec이나 sent2vec 같이 문장을 벡터로 변환하여 각 벡터 사이의 거리를 구합니다. 동영상을 보니 단어마다 가중치를 달리 설정하는게 차이가 있는 듯 합니다.

 

이런 기능을 챗봇 빌더 자체에 포함시킬 수는 없을까요. 지금은 각 의도마다 가능한 문장들을 수십개씩 입력해야 합니다. 챗봇 제작자 입장에서는 가장 손이 많이 가고 귀찮은 일입니다. 몇 개 문장만 정의하고 자동으로 유사도를 파악하면 상당히 편해집니다. 다만 특정 영역이 아니라 모든 텍스트에 대해서 유사도 벡터를 만드는게 쉽지 않습니다. 상용화할 만큼 정확도를 높이는게 문제라고 생각합니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
인간의 언어를 이해하는 기계, NLU 깊은바다 2019-05-17 653
Jay Alammar의 트랜스포머 한글 번역글 깊은바다 2019-05-09 565
BERT로 토익 문제를 푸는 프로젝트 file 깊은바다 2019-04-30 1213
워드 임베딩에 대한 아주 쉬운 설명 - The Illustrated Word2vec 깊은바다 2019-04-09 484
대화 인공지능 대회 - ConvAI file 깊은바다 2019-03-25 504
문장의 유사성을 예측하고 평가하는 AI - 카카오 심슨 깊은바다 2019-03-20 972
OpenAI Transformer GPT2로 만든 언어 모델 깊은바다 2019-02-17 2336
텐서플로에서 사전 훈련된 임베딩을 사용하는 예제 깊은바다 2019-02-02 378
목적지향 대화 학습 - Learning End-to-End Goal-Oriented Dialog file 깊은바다 2019-02-02 634
문장을 입력하면 비슷한 짤방을 보여주는 프로젝트 file 깊은바다 2019-01-28 4474
Word2Vec의 학습 방식 깊은바다 2019-01-17 656
Word2Vec 테스트 사이트 file 깊은바다 2019-01-13 562
딥러닝 자연어처리 - RNN에서 BERT까지 [2] 깊은바다 2019-01-07 1375
BERT를 이용한 챗봇 구현 file 깊은바다 2019-01-07 2863
사전훈련 자연어처리 모델의 발전과정 - The Illustrated BERT, ELMo, and co. 깊은바다 2019-01-01 989