글 수 108

딥러닝 질의응답 시스템인 cdQA-suite

조회 수 134 추천 수 0 2020.03.08 23:44:32


 

https://towardsdatascience.com/how-to-create-your-own-question-answering-system-easily-with-python-2ef8abc8eb5

 

 

 

딥러닝 기반의 질의응답 시스템으로 페이스북의 DrQA(https://github.com/facebookresearch/DrQA/)가 가장 유명합니다. 이보다 좀 더 사용하기 편리한 cdQA-suite를 소개해드립니다.

 

DrQA와 동일하게 Retriever와 Reader로 구성됩니다. Retriever는 문서집합을 검색해서 질문과 가장 비슷한 문단을 찾습니다. 문장을 TF-IDF 벡터로 변환하고 유사도를 비교하는 방식입니다. 이렇게 후보 문단들을 추려낸 후, 딥러닝으로 각 문단마다 질문의 답을 선택합니다. SQuAD로 파인튜닝된 BERT 모델을 사용합니다. 마지막으로 가장 높은 확률의 답을 출력합니다.

 

일반적인 MRC(Machine Reading Comprehension) 모델은 지문과 질문을 동시에 입력으로 넣어야 합니다. 반면에 이런 QA 시스템은 질문만 하면 자동으로 지문을 검색해서 정답을 찾습니다. 그래서 실제 서비스에 적용하기가 용이합니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
아마존, End-to-End 딥러닝 기술을 고객서비스에 챗봇에 적용 깊은바다 2020-03-17 108
딥러닝 질의응답 시스템인 cdQA-suite 깊은바다 2020-03-08 134
LG 사이언스파크에서 만든 한글 MRC(기계독해) 데모 file [2] 깊은바다 2020-03-07 166
페르소나에 따라 대화를 하는 딥러닝 챗봇 by Hugging Face 깊은바다 2020-03-06 115
GPT2로 만든 가상의 SNS - Botnet 깊은바다 2020-02-14 159
SKT가 공개한 한글 GPT2 - KoGPT2 깊은바다 2020-02-02 479
구글의 일상대화 딥러닝 모델 - Meena file 깊은바다 2020-01-30 403
핑퐁의 리액션 모델 - Dialog-BERT 만들기 깊은바다 2020-01-28 246
책 한권을 입력으로 받는 구글의 딥러닝 모델 - Reformer 깊은바다 2020-01-17 280
GPT2 텍스트 어드벤처 게임, AI Dungeon 앱 출시 깊은바다 2019-12-23 141
네이버 영화리뷰 감정분석 with Hugging Face BERT file 깊은바다 2019-12-17 593
GPT2로 만든 텍스트 어드벤처 게임 깊은바다 2019-12-09 191
인공지능과 함께 글쓰기! 창의 AI x Bookathon 대회 - GPT2 깊은바다 2019-11-30 281
GLUE: 벤치마크를 통해 BERT 이해하기 깊은바다 2019-11-19 487
GPT2의 1.5B 모델 공개 깊은바다 2019-11-08 261