레플리
글 수 282

새로운 자연어처리 벤치마크 - SuperGLUE

조회 수 703 추천 수 0 2019.08.15 18:50:19
깊은바다 *.68.247.186


https://ai.facebook.com/blog/new-advances-in-natural-language-processing-to-better-connect-people/

 

 

 

GLUE(General Language Understanding Evaluation)는 SQuAD(Stanford Question Answering Dataset)와 함께 대표적인 자연어처리 벤치마크입니다. 최근 XLNet, RoBERTa 등 최신 모델들이 등장하면서 GLUE의 휴먼 베이스라인을 능가하기 시작했습니다.

 

이런 문제를 해결하기 위해 페이스북, 뉴욕대, 딥마인드, 워싱턴대가 협력하여 새로운 SuperGLUE를 공개했습니다. GLUE와 마찬가지로 10개 정도의 과제로 구성되어있습니다. 모든 과제들의 점수를 평균을 내어 측정하기 때문에, 한 가지만 아니라 범용적인 능력을 보여주는 모델이 필요합니다.

 

GLUE의 베이스라인은 BiLSTM이었습니다. 반면에 SuperGLUE는 BERT가 기본이 되었습니다. 이제 베이스라인을 넘는 것도 쉽지 않을 것 같습니다^^;

 

 

 

< SuperGLUE >

-> https://super.gluebenchmark.com/

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
Word2Vec 테스트 사이트 file 깊은바다 2019-01-13 1189
메타, GPT-3와 동급인 175B의 초거대모델 무료 공개 깊은바다 2022-05-04 1188
최신 자연어처리 모델 소개 file 깊은바다 2022-07-11 1180
딥러닝 기반 자연어 언어모델 BERT - Colab 실습 코드 포함 file 깊은바다 2019-09-02 1179
쉽게 씌어진 Word2Vec [2] 깊은바다 2017-12-25 1178
커뮤니케이션과 AI - Multi-channel CNN을 이용한 한국어 감성분석 깊은바다 2018-11-22 1156
퓨샷(few-shot) 러닝에 최적화된 GPT3 모델 file 깊은바다 2020-05-30 1155
유저 피드백을 받아 지속적으로 학습을 하는 챗봇 - BlenderBot 3 file 깊은바다 2022-08-06 1148
딥러닝 질의응답 시스템인 cdQA-suite 깊은바다 2020-03-08 1142
다이나믹 메모리 네트워크 정리 file 깊은바다 2018-09-29 1135
LLM의 새로운 기법 - Merge와 DPO file 깊은바다 2024-01-02 1123
WizardLM의 Evol-instruct로 직접 한글 데이터셋을 만든 모델 file 깊은바다 2023-06-19 1112
딥러닝을 이용한 자연어 처리 입문 - 위키독스 깊은바다 2018-09-21 1107
Dialog-BERT: 100억건의 메신저대화로 일상대화 인공지능 서비스하기 file [1] 깊은바다 2020-04-19 1092
딥러닝으로 욕설 탐지하기 file [2] 깊은바다 2018-05-04 1073
목록
쓰기