레플리
글 수 295

딥러닝 질의응답 시스템인 cdQA-suite

조회 수 1208 추천 수 0 2020.03.08 23:44:32
깊은바다 *.68.247.59


 

https://towardsdatascience.com/how-to-create-your-own-question-answering-system-easily-with-python-2ef8abc8eb5

 

 

 

딥러닝 기반의 질의응답 시스템으로 페이스북의 DrQA(https://github.com/facebookresearch/DrQA/)가 가장 유명합니다. 이보다 좀 더 사용하기 편리한 cdQA-suite를 소개해드립니다.

 

DrQA와 동일하게 Retriever와 Reader로 구성됩니다. Retriever는 문서집합을 검색해서 질문과 가장 비슷한 문단을 찾습니다. 문장을 TF-IDF 벡터로 변환하고 유사도를 비교하는 방식입니다. 이렇게 후보 문단들을 추려낸 후, 딥러닝으로 각 문단마다 질문의 답을 선택합니다. SQuAD로 파인튜닝된 BERT 모델을 사용합니다. 마지막으로 가장 높은 확률의 답을 출력합니다.

 

일반적인 MRC(Machine Reading Comprehension) 모델은 지문과 질문을 동시에 입력으로 넣어야 합니다. 반면에 이런 QA 시스템은 질문만 하면 자동으로 지문을 검색해서 정답을 찾습니다. 그래서 실제 서비스에 적용하기가 용이합니다.

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수
네이버의 초거대모델인 HyperCLOVA 논문 file 깊은바다 2021-09-13 603
챗봇의 슬롯 채우기(Slot Filling)와 DST(Dialogue State Tracking) file 깊은바다 2021-08-19 1842
죽은 약혼자를 챗봇으로 살려낸 남자 - Project December 깊은바다 2021-07-27 642
인터넷 검색을 하고 장기기억을 저장하는 페이스북의 챗봇 - Blenderbot 2 file 깊은바다 2021-07-19 811
GPT-3 데모 사이트 - gpt3demo.com 깊은바다 2021-07-13 3800
6B 파라미터의 GPT-J_6B 오픈소스 모델 깊은바다 2021-07-01 5870
GPT-3를 활용하여 주석을 코드로 바꿔주는 GitHub Copilot 깊은바다 2021-06-30 419
구글의 딥러닝 대화 모델 - LaMDA 깊은바다 2021-06-13 639
일상대화 딥러닝 모델들을 쉽게 실행할 수 있는 Openchat 깊은바다 2021-06-01 628
GPT-3를 사용하여 코딩을 하는 MS의 파워FX 깊은바다 2021-06-01 301
텍스트 스타일을 바꾸는 딥러닝 기술 깊은바다 2021-06-01 495
KoGPT2 v2.0 공개 깊은바다 2021-05-03 1643
이루다 같은 챗봇은 어떤 원리로 작동하는 걸까? 깊은바다 2021-04-03 1828
이성에게 말을 거는 작업멘트를 GPT-3로 생성 file 깊은바다 2021-03-24 639
GPT-3로 NPC와 대화를 할 수 있는 게임 시뮬레이터 깊은바다 2021-02-22 1515
목록
쓰기