레플리
글 수 283

딥러닝 질의응답 시스템인 cdQA-suite

조회 수 1144 추천 수 0 2020.03.08 23:44:32
깊은바다 *.68.247.59


 

https://towardsdatascience.com/how-to-create-your-own-question-answering-system-easily-with-python-2ef8abc8eb5

 

 

 

딥러닝 기반의 질의응답 시스템으로 페이스북의 DrQA(https://github.com/facebookresearch/DrQA/)가 가장 유명합니다. 이보다 좀 더 사용하기 편리한 cdQA-suite를 소개해드립니다.

 

DrQA와 동일하게 Retriever와 Reader로 구성됩니다. Retriever는 문서집합을 검색해서 질문과 가장 비슷한 문단을 찾습니다. 문장을 TF-IDF 벡터로 변환하고 유사도를 비교하는 방식입니다. 이렇게 후보 문단들을 추려낸 후, 딥러닝으로 각 문단마다 질문의 답을 선택합니다. SQuAD로 파인튜닝된 BERT 모델을 사용합니다. 마지막으로 가장 높은 확률의 답을 출력합니다.

 

일반적인 MRC(Machine Reading Comprehension) 모델은 지문과 질문을 동시에 입력으로 넣어야 합니다. 반면에 이런 QA 시스템은 질문만 하면 자동으로 지문을 검색해서 정답을 찾습니다. 그래서 실제 서비스에 적용하기가 용이합니다.

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜sort 조회 수
욕설을 찾는 BERT 모델 - Purifier 깊은바다 2019-08-28 3264
딥러닝 기반 자연어 언어모델 BERT - Colab 실습 코드 포함 file 깊은바다 2019-09-02 1179
GPT2로 글을 작성하는 사이트 - StoryAI file 깊은바다 2019-10-11 1582
GPT2의 1.5B 모델 공개 깊은바다 2019-11-08 554
GLUE: 벤치마크를 통해 BERT 이해하기 깊은바다 2019-11-19 1737
인공지능과 함께 글쓰기! 창의 AI x Bookathon 대회 - GPT2 깊은바다 2019-11-30 581
GPT2로 만든 텍스트 어드벤처 게임 깊은바다 2019-12-09 2009
네이버 영화리뷰 감정분석 with Hugging Face BERT file 깊은바다 2019-12-17 4668
GPT2 텍스트 어드벤처 게임, AI Dungeon 앱 출시 깊은바다 2019-12-23 404
책 한권을 입력으로 받는 구글의 딥러닝 모델 - Reformer 깊은바다 2020-01-17 622
핑퐁의 리액션 모델 - Dialog-BERT 만들기 깊은바다 2020-01-28 1381
구글의 일상대화 딥러닝 모델 - Meena file 깊은바다 2020-01-30 1767
SKT가 공개한 한글 GPT2 - KoGPT2 깊은바다 2020-02-02 5296
GPT2로 만든 가상의 SNS - Botnet 깊은바다 2020-02-14 469
페르소나에 따라 대화를 하는 딥러닝 챗봇 by Hugging Face 깊은바다 2020-03-06 1008
목록
쓰기