레플리
글 수 283

딥러닝 질의응답 시스템인 cdQA-suite

조회 수 1144 추천 수 0 2020.03.08 23:44:32
깊은바다 *.68.247.59


 

https://towardsdatascience.com/how-to-create-your-own-question-answering-system-easily-with-python-2ef8abc8eb5

 

 

 

딥러닝 기반의 질의응답 시스템으로 페이스북의 DrQA(https://github.com/facebookresearch/DrQA/)가 가장 유명합니다. 이보다 좀 더 사용하기 편리한 cdQA-suite를 소개해드립니다.

 

DrQA와 동일하게 Retriever와 Reader로 구성됩니다. Retriever는 문서집합을 검색해서 질문과 가장 비슷한 문단을 찾습니다. 문장을 TF-IDF 벡터로 변환하고 유사도를 비교하는 방식입니다. 이렇게 후보 문단들을 추려낸 후, 딥러닝으로 각 문단마다 질문의 답을 선택합니다. SQuAD로 파인튜닝된 BERT 모델을 사용합니다. 마지막으로 가장 높은 확률의 답을 출력합니다.

 

일반적인 MRC(Machine Reading Comprehension) 모델은 지문과 질문을 동시에 입력으로 넣어야 합니다. 반면에 이런 QA 시스템은 질문만 하면 자동으로 지문을 검색해서 정답을 찾습니다. 그래서 실제 서비스에 적용하기가 용이합니다.

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
부적절한 문장을 판단해주는 딥러닝 모델 - Ask Delphi file 깊은바다 2021-11-08 399
GPT2 텍스트 어드벤처 게임, AI Dungeon 앱 출시 깊은바다 2019-12-23 404
ChatGPT에게 챗봇을 만들어보라고 해봤습니다 file 깊은바다 2022-12-26 413
레포트를 써주는 LLM - GPT Researcher file 깊은바다 2023-07-13 423
Together가 공개한 오픈소스 LLM - OpenChatKit 깊은바다 2023-03-12 425
텍스트 스타일을 바꾸는 딥러닝 기술 깊은바다 2021-06-01 436
Poe에 추가된 업스테이지의 LLM, Solar-70b file 깊은바다 2023-09-18 440
ChatGPT API 정식 공개 file 깊은바다 2023-03-02 454
MS의 딥러닝 대화 모델 - DialoGPT file 깊은바다 2020-04-24 456
GPT-4 세부구조에 대한 정보 유출 깊은바다 2023-07-20 459
딥러닝 상식추론 모델- COMET file 깊은바다 2020-05-04 465
업스테이지 SOLAR 10.7B에서 사용한 DUS 모델 확장 방법 file 깊은바다 2023-12-27 465
GPT2로 만든 가상의 SNS - Botnet 깊은바다 2020-02-14 469
아마존, End-to-End 딥러닝 기술을 고객서비스에 챗봇에 적용 깊은바다 2020-03-17 472
GPT-2를 사용한 텍스트 압축 기법 file 깊은바다 2021-02-19 473
목록
쓰기