레플리
글 수 282

새로운 자연어처리 벤치마크 - SuperGLUE

조회 수 703 추천 수 0 2019.08.15 18:50:19
깊은바다 *.68.247.186


https://ai.facebook.com/blog/new-advances-in-natural-language-processing-to-better-connect-people/

 

 

 

GLUE(General Language Understanding Evaluation)는 SQuAD(Stanford Question Answering Dataset)와 함께 대표적인 자연어처리 벤치마크입니다. 최근 XLNet, RoBERTa 등 최신 모델들이 등장하면서 GLUE의 휴먼 베이스라인을 능가하기 시작했습니다.

 

이런 문제를 해결하기 위해 페이스북, 뉴욕대, 딥마인드, 워싱턴대가 협력하여 새로운 SuperGLUE를 공개했습니다. GLUE와 마찬가지로 10개 정도의 과제로 구성되어있습니다. 모든 과제들의 점수를 평균을 내어 측정하기 때문에, 한 가지만 아니라 범용적인 능력을 보여주는 모델이 필요합니다.

 

GLUE의 베이스라인은 BiLSTM이었습니다. 반면에 SuperGLUE는 BERT가 기본이 되었습니다. 이제 베이스라인을 넘는 것도 쉽지 않을 것 같습니다^^;

 

 

 

< SuperGLUE >

-> https://super.gluebenchmark.com/

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜sort 조회 수
클로바X의 사용량 제한 - QPM과 TPM 깊은바다 2024-04-01 82
Pi를 만든 Inflection AI, MS로 대거 이직한 이유 깊은바다 2024-03-25 103
LLaMA나 Mistral이 계속 무료로 유지될 수 있을까 깊은바다 2024-03-05 226
GPT-3.5와 클로바X 가격 비교 file 깊은바다 2024-02-25 263
OpenAI, 성능은 높아지고 가격은 싸진 새로운 모델 공개 file 깊은바다 2024-01-26 318
AI 휴대용 기기 R1을 만든 Rabbit의 대표 Jesse Lyu 깊은바다 2024-01-12 246
화면을 보고 스마트폰 앱 사용방법을 배우는 모델 - AppAgent file 깊은바다 2024-01-08 298
LLM의 새로운 기법 - Merge와 DPO file 깊은바다 2024-01-02 1114
업스테이지 SOLAR 10.7B에서 사용한 DUS 모델 확장 방법 file 깊은바다 2023-12-27 441
죽은 아들의 AI 아바타를 만든 중국의 부모 file 깊은바다 2023-12-21 178
Private sLLM - 어떻게 만들고 어떻게 배포할까? file 깊은바다 2023-12-18 349
GPT-4가 내 여자친구보다 나를 더 잘 알까? file 깊은바다 2023-12-12 166
FSM과 생성 에이전트의 차이점 깊은바다 2023-11-22 179
RAG를 사용한 페르소나 챗봇 - ChatHaruhi file 깊은바다 2023-10-17 688
LLM Multi Agent: Customer Service를 기깔나게 자동화하는 방법 file [1] 깊은바다 2023-10-09 629
목록
쓰기