레플리
글 수 284


GettyImages-1157884675.jpg?fit=578%2C289

 

https://venturebeat.com/2020/04/14/researchers-challenge-ai-to-give-advice-as-well-as-humans-on-reddit-can/

 

 

 

자연어처리 벤치마크로 GLUE나 SQuAD가 있습니다. 최근 모델들의 성능이 높아지면서 사람의 수준을 넘어섰는데요. 그래서 SuperGLUE나 SQuAD2.0이 나오기도 했습니다. 하지만 이런 데이터셋들은 정답이 단답형이라는 한계가 있습니다.

 

얼마 전 TuringAdvice라는 새로운 대회가 생겼습니다. 래딧에서 모은 질문과 대답의 데이터를 사용합니다. 가장 큰 특징은 긴 문장 전체가 정답이라는 것입니다. 이런 장문의 대답은 라벨 문장과 일대일로 비교하며 점수를 매길 수가 없습니다. 그래서 아마존 미케니컬 터크로 사람이 직접 평가를 합니다. 다만 리더보드에 올리기 위해서는 이 비용을 별도로 부담해야 합니다^^;

 

현재 구글 T5가 1등인데요. 평가척도가 9%로 휴먼 베이스라인 50%에 비해서 매우 낮습니다. 그만큼 도전할만한 대회라고 생각합니다. 아래 사이트에서 Grover 모델로 테스트를 해보실 수 있습니다.

 

 

 

< TuringAdvice >
-> http://rowanzellers.com/advice/

엮인글 :
List of Articles
제목 글쓴이 날짜sort 조회 수
카카오 형태소 분석기(khaiii) 설치와 은전한닢(mecab) 형태소 분석기 비교 깊은바다 2018-12-02 2828
한국어 형태소 분석기 성능 비교 - khaiii 깊은바다 2018-12-10 1447
BERT 톺아보기 깊은바다 2018-12-17 26395
2018 Amazon Prize에서 우승한 Gunrock 소셜봇 file 깊은바다 2018-12-26 557
사전훈련 자연어처리 모델의 발전과정 - The Illustrated BERT, ELMo, and co. 깊은바다 2019-01-01 1379
BERT를 이용한 챗봇 구현 file 깊은바다 2019-01-07 4113
딥러닝 자연어처리 - RNN에서 BERT까지 [2] 깊은바다 2019-01-07 1756
Word2Vec 테스트 사이트 file 깊은바다 2019-01-13 1201
Word2Vec의 학습 방식 깊은바다 2019-01-17 898
문장을 입력하면 비슷한 짤방을 보여주는 프로젝트 file 깊은바다 2019-01-28 6172
목적지향 대화 학습 - Learning End-to-End Goal-Oriented Dialog file 깊은바다 2019-02-02 1597
텐서플로에서 사전 훈련된 임베딩을 사용하는 예제 깊은바다 2019-02-02 480
OpenAI Transformer GPT2로 만든 언어 모델 깊은바다 2019-02-17 2980
문장의 유사성을 예측하고 평가하는 AI - 카카오 심슨 깊은바다 2019-03-20 1462
대화 인공지능 대회 - ConvAI file 깊은바다 2019-03-25 631