레플리
글 수 284

딥러닝 질의응답 시스템인 cdQA-suite

조회 수 1144 추천 수 0 2020.03.08 23:44:32
깊은바다 *.68.247.59


 

https://towardsdatascience.com/how-to-create-your-own-question-answering-system-easily-with-python-2ef8abc8eb5

 

 

 

딥러닝 기반의 질의응답 시스템으로 페이스북의 DrQA(https://github.com/facebookresearch/DrQA/)가 가장 유명합니다. 이보다 좀 더 사용하기 편리한 cdQA-suite를 소개해드립니다.

 

DrQA와 동일하게 Retriever와 Reader로 구성됩니다. Retriever는 문서집합을 검색해서 질문과 가장 비슷한 문단을 찾습니다. 문장을 TF-IDF 벡터로 변환하고 유사도를 비교하는 방식입니다. 이렇게 후보 문단들을 추려낸 후, 딥러닝으로 각 문단마다 질문의 답을 선택합니다. SQuAD로 파인튜닝된 BERT 모델을 사용합니다. 마지막으로 가장 높은 확률의 답을 출력합니다.

 

일반적인 MRC(Machine Reading Comprehension) 모델은 지문과 질문을 동시에 입력으로 넣어야 합니다. 반면에 이런 QA 시스템은 질문만 하면 자동으로 지문을 검색해서 정답을 찾습니다. 그래서 실제 서비스에 적용하기가 용이합니다.

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜sort 조회 수
카카오 형태소 분석기(khaiii) 설치와 은전한닢(mecab) 형태소 분석기 비교 깊은바다 2018-12-02 2828
한국어 형태소 분석기 성능 비교 - khaiii 깊은바다 2018-12-10 1447
BERT 톺아보기 깊은바다 2018-12-17 26395
2018 Amazon Prize에서 우승한 Gunrock 소셜봇 file 깊은바다 2018-12-26 557
사전훈련 자연어처리 모델의 발전과정 - The Illustrated BERT, ELMo, and co. 깊은바다 2019-01-01 1379
BERT를 이용한 챗봇 구현 file 깊은바다 2019-01-07 4113
딥러닝 자연어처리 - RNN에서 BERT까지 [2] 깊은바다 2019-01-07 1756
Word2Vec 테스트 사이트 file 깊은바다 2019-01-13 1201
Word2Vec의 학습 방식 깊은바다 2019-01-17 898
문장을 입력하면 비슷한 짤방을 보여주는 프로젝트 file 깊은바다 2019-01-28 6172
목적지향 대화 학습 - Learning End-to-End Goal-Oriented Dialog file 깊은바다 2019-02-02 1597
텐서플로에서 사전 훈련된 임베딩을 사용하는 예제 깊은바다 2019-02-02 480
OpenAI Transformer GPT2로 만든 언어 모델 깊은바다 2019-02-17 2980
문장의 유사성을 예측하고 평가하는 AI - 카카오 심슨 깊은바다 2019-03-20 1462
대화 인공지능 대회 - ConvAI file 깊은바다 2019-03-25 631
목록
쓰기