글 수 51


차원이 줄어든 문구 임베딩 시각화

 

https://cloud.google.com/solutions/assessing-the-quality-of-training-phrases-in-dialogflow-intents?fbclid=IwAR3-qxz_H2pnvBGwP05yutCo3l7JgIONlqIYvgbpai_A2saxlY3G0PJLEnU

 

 

 

Dialogflow에서 서로 다른 의도에 있는 문장이 비슷하면 문제가 발생합니다. 이런 문장들을 찾아서 수정할 수 있도록 하는 방법을 설명하고 있습니다.

가장 먼저 모든 문장들을 벡터로 변환합니다. 그다음 다른 의도에 속하면서 벡터값이 유사한 문장을 검색합니다. 구글의 USE(Universal Sentence Encoder)를 사용했습니다. Word2vec이 단어 차원이라면, USE는 문장 단위로 처리합니다. 원래 영어만 가능했는데, 최근 한글을 포함한 다중언어를 지원하고 있습니다. 

개인적으로 챗봇 빌더에서 문장의 유사도를 자동으로 판단해주는 기능이 꼭 필요하다고 생각합니다. 지금은 각 의도마다 비슷한 문장들을 최소 수십개 이상 입력해야 합니다. 의도가 많아질수록 작업량도 급격히 늘어납니다. 사실 이렇게 해도 커버를 못하는 문장이 너무 많습니다. 사람이 일일이 모든 가능한 문장을 작성한다는 것은 비효율적입니다. 앞으로 이 부분은 반드시 인공지능으로 자동화가 필요하다고 봅니다.






엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
Dialogflow에서 Universal Sentence Encoder로 문장의 유사도 측정 깊은바다 2019-08-07 40
왕초보, 코딩없이 챗봇 만들기 깊은바다 2019-03-02 1207
DIY 챗봇 - 유사도 방식의 의도 파악 file 깊은바다 2019-01-27 598
카카오i 오픈빌더로 피자챗봇 만들기 깊은바다 2018-12-19 2368
카카오i 오픈빌더에서 자체엔진 사용방법 [1] 깊은바다 2018-12-13 1604
NUGU Play Kit 사용기 - 명상 서비스 개발 [1] 깊은바다 2018-12-13 279
빅스비와 시작하기 file 깊은바다 2018-12-04 312
카카오i 오픈빌더 문서 file 깊은바다 2018-12-03 2079
아마존 알렉사 소셜봇 대회 - Building a Socialbot file 깊은바다 2018-09-15 240
왓슨 Conversation API 간단하고 쉽게 이용해보기 [2] 깊은바다 2018-08-25 544
Dialogflow와 Heroku로 카카오톡 챗봇 만들기 file 깊은바다 2018-08-12 1127
Dialogflow로 카카오톡 챗봇 만들기 file 깊은바다 2018-08-03 1662
Dialogflow 를 이용한 간단 챗봇 만들기 - followup intent와 context 사용법 깊은바다 2018-07-24 585
DialogFlow로 간단하게 챗봇 만들기 깊은바다 2018-07-13 1087
Aibril 소프트웨어로 아주 쉽게 챗봇 만들어보기 깊은바다 2018-06-18 392