레플리
글 수 281


K-002.png

 

https://tv.naver.com/v/11212753

 

 

 

작년 DEVIEW 2019에서 스캐터랩 핑퐁팀이 발표한 내용입니다. Dialog-BERT를 사용한 일상대화 모델에 대해 소개하고 있습니다. 자사의 다른 앱에서 비식별화한 카톡 데이터를 수집하여 학습을 했다고 합니다. 다음과 같이 3가지의 방법으로 구성되어 있습니다.

 

첫째, 리액션입니다. 입력 문장을 1000개 정도의 클래스로 분류하고 거기에 맞는 대답을 출력합니다. 정확하고 구체적인 답변은 어렵지만, 어떠한 질문에도 그럴듯하게 대응할 수 있다는 장점이 있습니다.

 

둘째, 유사도 비교입니다. 미리 '질문/대답' 데이터를 만들어 놓습니다. 입력 문장과 데이터의 각 질문을 묶어서 BERT에 집어넣고 동일한지 판단합니다. 그리고 가장 비슷한 데이터의 대답을 출력합니다.

 

셋째, 답변 매칭입니다. 유사도 비교와 달리 '대답' 데이터만 필요합니다. 사용자의 질문과 각 대답을 같이 BERT에 입력하고 두 문장이 이어지는지 구분합니다. 마찬가지로 가장 자연스러운 대답을 출력합니다. 이렇게 하면 대답 데이터만으로도 좀 더 넓은 범위의 질문들을 커버할 수 있습니다.

 

 

 

핑퐁빌더(https://pingpong.us/)에서 직접 위의 방법들을 테스트해보실 수 있습니다. 일상대화에 있어서는 국내에서 가장 뛰어난 챗봇 중 하나라 생각합니다.

 

한 가지 궁금한 점이 있는데요. 리액션 모델은 딱 한 번만 수행하기 때문에 크게 부담이 없습니다. 하지만 유사도 비교와 답변 매칭은 모든 데이터들을 사용자의 질문과 하나씩 돌려봐야 합니다. 경량화를 해도 60ms인데, 데이터 문장이 100개라면 6초가 걸립니다. 동접 사용자가 늘어날수록 추론을 위한 리소스가 급격히 증가합니다. 먼저 빠른 알고리즘으로 후보 데이터들을 몇 개만 추출한 다음 BERT에 넣는 방식일까요.

 

 

 

< 발표자료 >
-> https://deview.kr/data/deview/2019/presentation/[116-2]%20Dialog-BERT%20100%EC%96%B5%20%EA%B1%B4%EC%9D%98%20%EB%A9%94%EC%8B%A0%EC%A0%80%20%EB%8C%80%ED%99%94%EB%A1%9C%20%EC%9D%BC%EC%83%81%EB%8C%80%ED%99%94%20%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5%20%EC%84%9C%EB%B9%84%EC%8A%A4%ED%95%98%EA%B8%B0.pdf

 


깊은바다

2020.12.08 22:11:05
*.211.229.190

궁금하신 부분에 대해서 간단히 답을 드리자면, 말씀하신 것처럼 우선 답변 후보를 리트리벌을 통해 추려내고 해당 후보들에 대해서만 inference를 진행합니다. 또한 모델 경량화나 개발적인 최적화를 통해서 시간을 단축시키고 있습니다.
아직은 부족한 발표이지만 봐주셔서 감사드리고 더 좋은 연구와 서비스를 공유드리기 위해 노력하고 있으니 기대해주세요! ㅎㅎ
List of Articles
제목 글쓴이 날짜 조회 수
생성 에이전트의 자율성이 AGI의 핵심 요소 file 깊은바다 2023-06-25 163
WizardLM의 Evol-instruct로 직접 한글 데이터셋을 만든 모델 file 깊은바다 2023-06-19 1055
세콰이어캐피탈에서 전망하는 LLM의 미래 깊은바다 2023-06-19 246
지금 생성AI는 과도기일 뿐 file 깊은바다 2023-06-19 353
카카오브레인 김일두 대표님의 글 - 생성AI가 비즈니스를 어떻게 혁신할까 깊은바다 2023-06-15 215
ChatGPT API에서도 플러그인과 동일한 기능을 - ChatGPT Function file 깊은바다 2023-06-14 328
내가 AI를 직접 가르치고 키우는 반려지능의 시대 file 깊은바다 2023-05-31 883
LLM의 시대에도 자연어처리를 배워야할까 깊은바다 2023-05-29 311
아카라이브 AI 언어모델 로컬 채널 file 깊은바다 2023-05-23 488
Scale entanglement - LLM 연대기 깊은바다 2023-05-21 205
ChatGPT iOS 버전 출시 file 깊은바다 2023-05-19 97
GPT-3.5와 하이퍼클로바의 한국어 대결 file 깊은바다 2023-05-12 316
인플루언서의 목소리 클론과 GPT-4로 만든 아바타 서비스 - Caryn.ai 깊은바다 2023-05-11 531
오픈소스 LLM이 ChatGPT를 대체할 수 있을 깊은바다 2023-05-05 292
AutoGPT 사용기 - 다른 에이전트 생성 능력 file 깊은바다 2023-04-23 327