레플리
글 수 281


GettyImages-1157884675.jpg?fit=578%2C289

 

https://venturebeat.com/2020/04/14/researchers-challenge-ai-to-give-advice-as-well-as-humans-on-reddit-can/

 

 

 

자연어처리 벤치마크로 GLUE나 SQuAD가 있습니다. 최근 모델들의 성능이 높아지면서 사람의 수준을 넘어섰는데요. 그래서 SuperGLUE나 SQuAD2.0이 나오기도 했습니다. 하지만 이런 데이터셋들은 정답이 단답형이라는 한계가 있습니다.

 

얼마 전 TuringAdvice라는 새로운 대회가 생겼습니다. 래딧에서 모은 질문과 대답의 데이터를 사용합니다. 가장 큰 특징은 긴 문장 전체가 정답이라는 것입니다. 이런 장문의 대답은 라벨 문장과 일대일로 비교하며 점수를 매길 수가 없습니다. 그래서 아마존 미케니컬 터크로 사람이 직접 평가를 합니다. 다만 리더보드에 올리기 위해서는 이 비용을 별도로 부담해야 합니다^^;

 

현재 구글 T5가 1등인데요. 평가척도가 9%로 휴먼 베이스라인 50%에 비해서 매우 낮습니다. 그만큼 도전할만한 대회라고 생각합니다. 아래 사이트에서 Grover 모델로 테스트를 해보실 수 있습니다.

 

 

 

< TuringAdvice >
-> http://rowanzellers.com/advice/

엮인글 :
List of Articles
제목 글쓴이 날짜sort 조회 수
와튼스쿨 에단 몰릭 교수의 Bing 사용 후기 깊은바다 2023-02-19 134
MS 직원의 GPT 기반 콜센터 챗봇 사용기 깊은바다 2023-02-18 157
구글의 초거대AI LaMDA, 과연 의식을 가지고 있을까 깊은바다 2023-02-17 106
ChatGPT와 대화 인공지능의 미래 깊은바다 2023-02-17 123
하이퍼클로바 기반의 심리상담 챗봇 개발 경험 깊은바다 2023-02-17 230
ChatGPT 프롬프트 엔지니어링 - 다양한 말투로 대답하기 file 깊은바다 2023-02-17 779
ChatGPT, 타임지 표지 장식 깊은바다 2023-02-17 245
ChatGPT의 3가지 핵심 특징 깊은바다 2023-02-16 157
ChatGPT가 Stack Overflow를 대체할까 깊은바다 2023-02-16 104
테드 창, ChatGPT는 엄청나게 효율이 높은 손실 압축임 깊은바다 2023-02-13 234
MS의 목적은 ChatGPT로 구글이 장악한 검색시장 자체를 무너뜨리는 것 깊은바다 2023-02-11 119
ChatGPT와 통합된 Bing 사용후기 영상 깊은바다 2023-02-10 165
MS, Bing과 Edge에 ChatGPT 통합 file 깊은바다 2023-02-08 153
구글, ChatGPT의 라이벌인 Bard 공개 file 깊은바다 2023-02-07 147
네이버의 생성AI는 챗GPT가 안 부럽다 - 심층 인터뷰 기사 깊은바다 2023-02-03 204