레플리
글 수 283

딥러닝 질의응답 시스템인 cdQA-suite

조회 수 1144 추천 수 0 2020.03.08 23:44:32
깊은바다 *.68.247.59


 

https://towardsdatascience.com/how-to-create-your-own-question-answering-system-easily-with-python-2ef8abc8eb5

 

 

 

딥러닝 기반의 질의응답 시스템으로 페이스북의 DrQA(https://github.com/facebookresearch/DrQA/)가 가장 유명합니다. 이보다 좀 더 사용하기 편리한 cdQA-suite를 소개해드립니다.

 

DrQA와 동일하게 Retriever와 Reader로 구성됩니다. Retriever는 문서집합을 검색해서 질문과 가장 비슷한 문단을 찾습니다. 문장을 TF-IDF 벡터로 변환하고 유사도를 비교하는 방식입니다. 이렇게 후보 문단들을 추려낸 후, 딥러닝으로 각 문단마다 질문의 답을 선택합니다. SQuAD로 파인튜닝된 BERT 모델을 사용합니다. 마지막으로 가장 높은 확률의 답을 출력합니다.

 

일반적인 MRC(Machine Reading Comprehension) 모델은 지문과 질문을 동시에 입력으로 넣어야 합니다. 반면에 이런 QA 시스템은 질문만 하면 자동으로 지문을 검색해서 정답을 찾습니다. 그래서 실제 서비스에 적용하기가 용이합니다.

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜sort 조회 수
워드 임베딩에 대한 아주 쉬운 설명 - The Illustrated Word2vec 깊은바다 2019-04-09 703
BERT로 토익 문제를 푸는 프로젝트 file 깊은바다 2019-04-30 2281
Jay Alammar의 트랜스포머 한글 번역글 깊은바다 2019-05-09 1064
인간의 언어를 이해하는 기계, NLU 깊은바다 2019-05-17 850
GPT2를 Colab에서 테스트할 수 있는 코드 깊은바다 2019-05-21 1782
가짜뉴스를 생성 또는 판별하는 딥러닝 모델 - Grover 깊은바다 2019-06-01 969
딥러닝을 사용하여 의도 및 엔티티를 파악하는 챗봇 소스코드 file 깊은바다 2019-06-25 2328
딥러닝 자연어처리 강의 - Natural Language Processing with PyTorch 깊은바다 2019-07-06 687
케라스로 만든 한글 Seq2Seq 챗봇 소스코드 깊은바다 2019-07-13 3091
페이스북이 발표한 사전훈련 언어모델 RoBERTa file 깊은바다 2019-07-30 1429
위키에서 질문의 답을 찾는 딥러닝 모델, 페이스북의 DrQA file 깊은바다 2019-08-03 902
딥러닝을 사용하여 심심이의 나쁜말 필터링 기능 구현 깊은바다 2019-08-14 902
새로운 자연어처리 벤치마크 - SuperGLUE 깊은바다 2019-08-15 703
100억건의 카카오톡 데이터로 
똑똑한 일상대화 인공지능 만들기 - 핑퐁 멀티턴 file 깊은바다 2019-08-20 1732
딥러닝을 활용한 뉴스 메타 태깅 깊은바다 2019-08-26 379
목록
쓰기