글 수 55


차원이 줄어든 문구 임베딩 시각화

 

https://cloud.google.com/solutions/assessing-the-quality-of-training-phrases-in-dialogflow-intents?fbclid=IwAR3-qxz_H2pnvBGwP05yutCo3l7JgIONlqIYvgbpai_A2saxlY3G0PJLEnU

 

 

 

Dialogflow에서 서로 다른 의도에 있는 문장이 비슷하면 문제가 발생합니다. 이런 문장들을 찾아서 수정할 수 있도록 하는 방법을 설명하고 있습니다.

가장 먼저 모든 문장들을 벡터로 변환합니다. 그다음 다른 의도에 속하면서 벡터값이 유사한 문장을 검색합니다. 구글의 USE(Universal Sentence Encoder)를 사용했습니다. Word2vec이 단어 차원이라면, USE는 문장 단위로 처리합니다. 원래 영어만 가능했는데, 최근 한글을 포함한 다중언어를 지원하고 있습니다. 

개인적으로 챗봇 빌더에서 문장의 유사도를 자동으로 판단해주는 기능이 꼭 필요하다고 생각합니다. 지금은 각 의도마다 비슷한 문장들을 최소 수십개 이상 입력해야 합니다. 의도가 많아질수록 작업량도 급격히 늘어납니다. 사실 이렇게 해도 커버를 못하는 문장이 너무 많습니다. 사람이 일일이 모든 가능한 문장을 작성한다는 것은 비효율적입니다. 앞으로 이 부분은 반드시 인공지능으로 자동화가 필요하다고 봅니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
Rasa와 TMDb를 이용한 영화 챗봇 만들기 깊은바다 2020-03-12 437
MS의 파워 버추얼 에이전트(Power Virtual Agents) 핸즈온 file 깊은바다 2020-02-10 205
챗봇, 일주일이면 아무개 만큼 한다! file [1] Dope 2020-01-21 1069
카카오i 오픈빌더를 안쓰고 자체 엔진으로 카톡 챗봇을 만드는 방법 깊은바다 2019-12-31 503
Dialogflow에서 Universal Sentence Encoder로 문장의 유사도 측정 깊은바다 2019-08-07 559
왕초보, 코딩없이 챗봇 만들기 깊은바다 2019-03-02 2194
DIY 챗봇 - 유사도 방식의 의도 파악 file 깊은바다 2019-01-27 1109
카카오i 오픈빌더로 피자챗봇 만들기 깊은바다 2018-12-19 3814
카카오i 오픈빌더에서 자체엔진 사용방법 [1] 깊은바다 2018-12-13 2378
NUGU Play Kit 사용기 - 명상 서비스 개발 [1] 깊은바다 2018-12-13 429
빅스비와 시작하기 file 깊은바다 2018-12-04 721
카카오i 오픈빌더 문서 file 깊은바다 2018-12-03 3277
아마존 알렉사 소셜봇 대회 - Building a Socialbot file 깊은바다 2018-09-15 335
왓슨 Conversation API 간단하고 쉽게 이용해보기 [2] 깊은바다 2018-08-25 878
Dialogflow와 Heroku로 카카오톡 챗봇 만들기 file 깊은바다 2018-08-12 1574