레플리
글 수 293

새로운 자연어처리 벤치마크 - SuperGLUE

조회 수 1620 추천 수 0 2019.08.15 18:50:19
깊은바다 *.68.247.186


https://ai.facebook.com/blog/new-advances-in-natural-language-processing-to-better-connect-people/

 

 

 

GLUE(General Language Understanding Evaluation)는 SQuAD(Stanford Question Answering Dataset)와 함께 대표적인 자연어처리 벤치마크입니다. 최근 XLNet, RoBERTa 등 최신 모델들이 등장하면서 GLUE의 휴먼 베이스라인을 능가하기 시작했습니다.

 

이런 문제를 해결하기 위해 페이스북, 뉴욕대, 딥마인드, 워싱턴대가 협력하여 새로운 SuperGLUE를 공개했습니다. GLUE와 마찬가지로 10개 정도의 과제로 구성되어있습니다. 모든 과제들의 점수를 평균을 내어 측정하기 때문에, 한 가지만 아니라 범용적인 능력을 보여주는 모델이 필요합니다.

 

GLUE의 베이스라인은 BiLSTM이었습니다. 반면에 SuperGLUE는 BERT가 기본이 되었습니다. 이제 베이스라인을 넘는 것도 쉽지 않을 것 같습니다^^;

 

 

 

< SuperGLUE >

-> https://super.gluebenchmark.com/

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
GPT3로 하는 리액트 프로그래밍 file 깊은바다 2020-07-19 1543
일상대화 딥러닝 모델들을 쉽게 실행할 수 있는 Openchat 깊은바다 2021-06-01 1544
네이버의 초거대모델인 HyperCLOVA 논문 file 깊은바다 2021-09-13 1546
LLaMA나 Mistral이 계속 무료로 유지될 수 있을까 깊은바다 2024-03-05 1550
GPT-4에 CoT 프롬프를 적용하여 2023 수능 국어 1등급 달성 file 깊은바다 2023-08-08 1570
GPT3가 상식을 가지고 있을까 깊은바다 2020-07-24 1578
GPT-3를 헬스케어 서비스에 적용했을 때의 문제점들 깊은바다 2020-11-04 1584
GPT-3 패러다임을 바꿀 미친 성능의 인공지능 등장 및 활용 사례 10가지 깊은바다 2020-09-14 1586
구글의 딥러닝 대화 모델 - LaMDA 깊은바다 2021-06-13 1587
카카오미니의 명령어 분류 방법 - GloVe와 CNN 사용 깊은바다 2018-05-07 1593
워드 임베딩에 대한 아주 쉬운 설명 - The Illustrated Word2vec 깊은바다 2019-04-09 1594
HyperCLOVA로 만드는 캐릭터 챗봇 file 깊은바다 2021-11-26 1613
Llama 2의 RLHF 구현 방법 깊은바다 2023-07-19 1613
제미나이 2.5 프로 API 정식 출시 file 우종하 2025-04-10 1613
GPT-3를 사용하여 코딩을 하는 MS의 파워FX 깊은바다 2021-06-01 1616
목록
쓰기