레플리
글 수 281

딥러닝 질의응답 시스템인 cdQA-suite

조회 수 1141 추천 수 0 2020.03.08 23:44:32


 

https://towardsdatascience.com/how-to-create-your-own-question-answering-system-easily-with-python-2ef8abc8eb5

 

 

 

딥러닝 기반의 질의응답 시스템으로 페이스북의 DrQA(https://github.com/facebookresearch/DrQA/)가 가장 유명합니다. 이보다 좀 더 사용하기 편리한 cdQA-suite를 소개해드립니다.

 

DrQA와 동일하게 Retriever와 Reader로 구성됩니다. Retriever는 문서집합을 검색해서 질문과 가장 비슷한 문단을 찾습니다. 문장을 TF-IDF 벡터로 변환하고 유사도를 비교하는 방식입니다. 이렇게 후보 문단들을 추려낸 후, 딥러닝으로 각 문단마다 질문의 답을 선택합니다. SQuAD로 파인튜닝된 BERT 모델을 사용합니다. 마지막으로 가장 높은 확률의 답을 출력합니다.

 

일반적인 MRC(Machine Reading Comprehension) 모델은 지문과 질문을 동시에 입력으로 넣어야 합니다. 반면에 이런 QA 시스템은 질문만 하면 자동으로 지문을 검색해서 정답을 찾습니다. 그래서 실제 서비스에 적용하기가 용이합니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
Word2Vec 테스트 사이트 file 깊은바다 2019-01-13 1182
쉽게 씌어진 Word2Vec [2] 깊은바다 2017-12-25 1177
딥러닝 기반 자연어 언어모델 BERT - Colab 실습 코드 포함 file 깊은바다 2019-09-02 1177
최신 자연어처리 모델 소개 file 깊은바다 2022-07-11 1172
커뮤니케이션과 AI - Multi-channel CNN을 이용한 한국어 감성분석 깊은바다 2018-11-22 1156
퓨샷(few-shot) 러닝에 최적화된 GPT3 모델 file 깊은바다 2020-05-30 1154
LLM 챗봇의 특징 2가지 - RAG와 Function 깊은바다 2023-07-06 1147
딥러닝 질의응답 시스템인 cdQA-suite 깊은바다 2020-03-08 1141
유저 피드백을 받아 지속적으로 학습을 하는 챗봇 - BlenderBot 3 file 깊은바다 2022-08-06 1135
다이나믹 메모리 네트워크 정리 file 깊은바다 2018-09-29 1134
딥러닝을 이용한 자연어 처리 입문 - 위키독스 깊은바다 2018-09-21 1100
Dialog-BERT: 100억건의 메신저대화로 일상대화 인공지능 서비스하기 file [1] 깊은바다 2020-04-19 1091
딥러닝으로 욕설 탐지하기 file [2] 깊은바다 2018-05-04 1073
Jay Alammar의 트랜스포머 한글 번역글 깊은바다 2019-05-09 1058
WizardLM의 Evol-instruct로 직접 한글 데이터셋을 만든 모델 file 깊은바다 2023-06-19 1055