레플리
글 수 281


GettyImages-1157884675.jpg?fit=578%2C289

 

https://venturebeat.com/2020/04/14/researchers-challenge-ai-to-give-advice-as-well-as-humans-on-reddit-can/

 

 

 

자연어처리 벤치마크로 GLUE나 SQuAD가 있습니다. 최근 모델들의 성능이 높아지면서 사람의 수준을 넘어섰는데요. 그래서 SuperGLUE나 SQuAD2.0이 나오기도 했습니다. 하지만 이런 데이터셋들은 정답이 단답형이라는 한계가 있습니다.

 

얼마 전 TuringAdvice라는 새로운 대회가 생겼습니다. 래딧에서 모은 질문과 대답의 데이터를 사용합니다. 가장 큰 특징은 긴 문장 전체가 정답이라는 것입니다. 이런 장문의 대답은 라벨 문장과 일대일로 비교하며 점수를 매길 수가 없습니다. 그래서 아마존 미케니컬 터크로 사람이 직접 평가를 합니다. 다만 리더보드에 올리기 위해서는 이 비용을 별도로 부담해야 합니다^^;

 

현재 구글 T5가 1등인데요. 평가척도가 9%로 휴먼 베이스라인 50%에 비해서 매우 낮습니다. 그만큼 도전할만한 대회라고 생각합니다. 아래 사이트에서 Grover 모델로 테스트를 해보실 수 있습니다.

 

 

 

< TuringAdvice >
-> http://rowanzellers.com/advice/

엮인글 :
List of Articles
제목 글쓴이 날짜sort 조회 수
LG 사이언스파크에서 만든 한글 MRC(기계독해) 데모 file [2] 깊은바다 2020-03-07 931
딥러닝 질의응답 시스템인 cdQA-suite 깊은바다 2020-03-08 1141
아마존, End-to-End 딥러닝 기술을 고객서비스에 챗봇에 적용 깊은바다 2020-03-17 472
장문의 대답을 평가하는 자연어처리 벤치마크 - TuringAdvice 깊은바다 2020-04-17 215
Dialog-BERT: 100억건의 메신저대화로 일상대화 인공지능 서비스하기 file [1] 깊은바다 2020-04-19 1091
MS의 딥러닝 대화 모델 - DialoGPT file 깊은바다 2020-04-24 453
페이스북의 일상대화 딥러닝 모델 - BlenderBot file 깊은바다 2020-05-01 937
딥러닝 상식추론 모델- COMET file 깊은바다 2020-05-04 458
Meme 자동 생성기 깊은바다 2020-05-11 1023
꼼꼼하고 이해하기 쉬운 ELECTRA 논문 리뷰 깊은바다 2020-05-15 512
인라이플의 한글 BERT 대형모델 깊은바다 2020-05-18 4245
KoGPT2로 한국어 노래 가사 생성하기 깊은바다 2020-05-21 1837
퓨샷(few-shot) 러닝에 최적화된 GPT3 모델 file 깊은바다 2020-05-30 1154
GPT2를 테스트해볼 수 있는 사이트 - Talk to Transformer file 깊은바다 2020-06-05 615
GPT3 유료화 기능 소개 영상 깊은바다 2020-06-15 914