레플리
글 수 282

딥러닝 질의응답 시스템인 cdQA-suite

조회 수 1142 추천 수 0 2020.03.08 23:44:32
깊은바다 *.68.247.59


 

https://towardsdatascience.com/how-to-create-your-own-question-answering-system-easily-with-python-2ef8abc8eb5

 

 

 

딥러닝 기반의 질의응답 시스템으로 페이스북의 DrQA(https://github.com/facebookresearch/DrQA/)가 가장 유명합니다. 이보다 좀 더 사용하기 편리한 cdQA-suite를 소개해드립니다.

 

DrQA와 동일하게 Retriever와 Reader로 구성됩니다. Retriever는 문서집합을 검색해서 질문과 가장 비슷한 문단을 찾습니다. 문장을 TF-IDF 벡터로 변환하고 유사도를 비교하는 방식입니다. 이렇게 후보 문단들을 추려낸 후, 딥러닝으로 각 문단마다 질문의 답을 선택합니다. SQuAD로 파인튜닝된 BERT 모델을 사용합니다. 마지막으로 가장 높은 확률의 답을 출력합니다.

 

일반적인 MRC(Machine Reading Comprehension) 모델은 지문과 질문을 동시에 입력으로 넣어야 합니다. 반면에 이런 QA 시스템은 질문만 하면 자동으로 지문을 검색해서 정답을 찾습니다. 그래서 실제 서비스에 적용하기가 용이합니다.

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수
KoGPT2로 한국어 노래 가사 생성하기 깊은바다 2020-05-21 1850
인라이플의 한글 BERT 대형모델 깊은바다 2020-05-18 4246
꼼꼼하고 이해하기 쉬운 ELECTRA 논문 리뷰 깊은바다 2020-05-15 512
Meme 자동 생성기 깊은바다 2020-05-11 1023
딥러닝 상식추론 모델- COMET file 깊은바다 2020-05-04 462
페이스북의 일상대화 딥러닝 모델 - BlenderBot file 깊은바다 2020-05-01 947
MS의 딥러닝 대화 모델 - DialoGPT file 깊은바다 2020-04-24 456
Dialog-BERT: 100억건의 메신저대화로 일상대화 인공지능 서비스하기 file [1] 깊은바다 2020-04-19 1092
장문의 대답을 평가하는 자연어처리 벤치마크 - TuringAdvice 깊은바다 2020-04-17 215
아마존, End-to-End 딥러닝 기술을 고객서비스에 챗봇에 적용 깊은바다 2020-03-17 472
딥러닝 질의응답 시스템인 cdQA-suite 깊은바다 2020-03-08 1142
LG 사이언스파크에서 만든 한글 MRC(기계독해) 데모 file [2] 깊은바다 2020-03-07 931
페르소나에 따라 대화를 하는 딥러닝 챗봇 by Hugging Face 깊은바다 2020-03-06 1007
GPT2로 만든 가상의 SNS - Botnet 깊은바다 2020-02-14 469
SKT가 공개한 한글 GPT2 - KoGPT2 깊은바다 2020-02-02 5294
목록
쓰기