레플리
글 수 281


K-002.png

 

https://tv.naver.com/v/11212753

 

 

 

작년 DEVIEW 2019에서 스캐터랩 핑퐁팀이 발표한 내용입니다. Dialog-BERT를 사용한 일상대화 모델에 대해 소개하고 있습니다. 자사의 다른 앱에서 비식별화한 카톡 데이터를 수집하여 학습을 했다고 합니다. 다음과 같이 3가지의 방법으로 구성되어 있습니다.

 

첫째, 리액션입니다. 입력 문장을 1000개 정도의 클래스로 분류하고 거기에 맞는 대답을 출력합니다. 정확하고 구체적인 답변은 어렵지만, 어떠한 질문에도 그럴듯하게 대응할 수 있다는 장점이 있습니다.

 

둘째, 유사도 비교입니다. 미리 '질문/대답' 데이터를 만들어 놓습니다. 입력 문장과 데이터의 각 질문을 묶어서 BERT에 집어넣고 동일한지 판단합니다. 그리고 가장 비슷한 데이터의 대답을 출력합니다.

 

셋째, 답변 매칭입니다. 유사도 비교와 달리 '대답' 데이터만 필요합니다. 사용자의 질문과 각 대답을 같이 BERT에 입력하고 두 문장이 이어지는지 구분합니다. 마찬가지로 가장 자연스러운 대답을 출력합니다. 이렇게 하면 대답 데이터만으로도 좀 더 넓은 범위의 질문들을 커버할 수 있습니다.

 

 

 

핑퐁빌더(https://pingpong.us/)에서 직접 위의 방법들을 테스트해보실 수 있습니다. 일상대화에 있어서는 국내에서 가장 뛰어난 챗봇 중 하나라 생각합니다.

 

한 가지 궁금한 점이 있는데요. 리액션 모델은 딱 한 번만 수행하기 때문에 크게 부담이 없습니다. 하지만 유사도 비교와 답변 매칭은 모든 데이터들을 사용자의 질문과 하나씩 돌려봐야 합니다. 경량화를 해도 60ms인데, 데이터 문장이 100개라면 6초가 걸립니다. 동접 사용자가 늘어날수록 추론을 위한 리소스가 급격히 증가합니다. 먼저 빠른 알고리즘으로 후보 데이터들을 몇 개만 추출한 다음 BERT에 넣는 방식일까요.

 

 

 

< 발표자료 >
-> https://deview.kr/data/deview/2019/presentation/[116-2]%20Dialog-BERT%20100%EC%96%B5%20%EA%B1%B4%EC%9D%98%20%EB%A9%94%EC%8B%A0%EC%A0%80%20%EB%8C%80%ED%99%94%EB%A1%9C%20%EC%9D%BC%EC%83%81%EB%8C%80%ED%99%94%20%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5%20%EC%84%9C%EB%B9%84%EC%8A%A4%ED%95%98%EA%B8%B0.pdf

 


깊은바다

2020.12.08 22:11:05
*.211.229.190

궁금하신 부분에 대해서 간단히 답을 드리자면, 말씀하신 것처럼 우선 답변 후보를 리트리벌을 통해 추려내고 해당 후보들에 대해서만 inference를 진행합니다. 또한 모델 경량화나 개발적인 최적화를 통해서 시간을 단축시키고 있습니다.
아직은 부족한 발표이지만 봐주셔서 감사드리고 더 좋은 연구와 서비스를 공유드리기 위해 노력하고 있으니 기대해주세요! ㅎㅎ
List of Articles
제목 글쓴이 날짜sort 조회 수
Pi를 만든 Inflection AI, MS로 대거 이직한 이유 깊은바다 2024-03-25 44
LLaMA나 Mistral이 계속 무료로 유지될 수 있을까 깊은바다 2024-03-05 143
GPT-3.5와 클로바X 가격 비교 file 깊은바다 2024-02-25 185
OpenAI, 성능은 높아지고 가격은 싸진 새로운 모델 공개 file 깊은바다 2024-01-26 292
AI 휴대용 기기 R1을 만든 Rabbit의 대표 Jesse Lyu 깊은바다 2024-01-12 234
화면을 보고 스마트폰 앱 사용방법을 배우는 모델 - AppAgent file 깊은바다 2024-01-08 268
LLM의 새로운 기법 - Merge와 DPO file 깊은바다 2024-01-02 949
업스테이지 SOLAR 10.7B에서 사용한 DUS 모델 확장 방법 file 깊은바다 2023-12-27 375
죽은 아들의 AI 아바타를 만든 중국의 부모 file 깊은바다 2023-12-21 165
Private sLLM - 어떻게 만들고 어떻게 배포할까? file 깊은바다 2023-12-18 296
GPT-4가 내 여자친구보다 나를 더 잘 알까? file 깊은바다 2023-12-12 147
FSM과 생성 에이전트의 차이점 깊은바다 2023-11-22 164
RAG를 사용한 페르소나 챗봇 - ChatHaruhi file 깊은바다 2023-10-17 631
LLM Multi Agent: Customer Service를 기깔나게 자동화하는 방법 file [1] 깊은바다 2023-10-09 567
사진을 인식할 수 있는 ChatGPT 멀티모달 버전 공개 file 깊은바다 2023-09-26 272