글 수 267

새로운 자연어처리 벤치마크 - SuperGLUE

조회 수 660 추천 수 0 2019.08.15 18:50:19
깊은바다 *.68.247.186


https://ai.facebook.com/blog/new-advances-in-natural-language-processing-to-better-connect-people/

 

 

 

GLUE(General Language Understanding Evaluation)는 SQuAD(Stanford Question Answering Dataset)와 함께 대표적인 자연어처리 벤치마크입니다. 최근 XLNet, RoBERTa 등 최신 모델들이 등장하면서 GLUE의 휴먼 베이스라인을 능가하기 시작했습니다.

 

이런 문제를 해결하기 위해 페이스북, 뉴욕대, 딥마인드, 워싱턴대가 협력하여 새로운 SuperGLUE를 공개했습니다. GLUE와 마찬가지로 10개 정도의 과제로 구성되어있습니다. 모든 과제들의 점수를 평균을 내어 측정하기 때문에, 한 가지만 아니라 범용적인 능력을 보여주는 모델이 필요합니다.

 

GLUE의 베이스라인은 BiLSTM이었습니다. 반면에 SuperGLUE는 BERT가 기본이 되었습니다. 이제 베이스라인을 넘는 것도 쉽지 않을 것 같습니다^^;

 

 

 

< SuperGLUE >

-> https://super.gluebenchmark.com/

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수
구글의 초거대모델 PaLM의 추론과 상식 능력 file 깊은바다 2022-05-20 829
글자, 사진, 영상을 동시에 처리하는 딥마인드의 딥러닝 모델 - Flamingo file 깊은바다 2022-05-10 1130
메타, GPT-3와 동급인 175B의 초거대모델 무료 공개 깊은바다 2022-05-04 1157
GPT-3보다 3배 더 큰 구글의 초거대모델, PaLM file 깊은바다 2022-04-07 1385
초거대모델의 파인튜닝 방법 - P-tuning과 LoRA file 깊은바다 2022-04-05 10298
교육용 챗봇의 미래!? 구글 람다 (LaMDA) 깊은바다 2022-03-11 1349
하이퍼클로바 활용예 및 사용가이드 file 깊은바다 2022-03-05 3484
네이버의 초거대모델인 하이퍼클로바 사용 후기 깊은바다 2022-02-14 3130
구글의 대화기반 초거대모델 LaMDA, 논문 공개 file 깊은바다 2022-02-08 1313
프로그램을 작성하는 딥마인드의 알파코드 file 깊은바다 2022-02-04 981
GPT-3를 강화학습으로 업그레이드한 InstructGPT file 깊은바다 2022-01-30 2516
DALL-E를 능가하는 OpenAI의 GLIDE 깊은바다 2021-12-27 820
검색기반 거대모델인 딥마인드의 RETRO 깊은바다 2021-12-20 493
HyperCLOVA로 만드는 캐릭터 챗봇 file 깊은바다 2021-11-26 724
여러 한국어 GPT 모델들 file [1] 봄눈 2021-11-21 3087
목록
쓰기