레플리
글 수 282

새로운 자연어처리 벤치마크 - SuperGLUE

조회 수 703 추천 수 0 2019.08.15 18:50:19
깊은바다 *.68.247.186


https://ai.facebook.com/blog/new-advances-in-natural-language-processing-to-better-connect-people/

 

 

 

GLUE(General Language Understanding Evaluation)는 SQuAD(Stanford Question Answering Dataset)와 함께 대표적인 자연어처리 벤치마크입니다. 최근 XLNet, RoBERTa 등 최신 모델들이 등장하면서 GLUE의 휴먼 베이스라인을 능가하기 시작했습니다.

 

이런 문제를 해결하기 위해 페이스북, 뉴욕대, 딥마인드, 워싱턴대가 협력하여 새로운 SuperGLUE를 공개했습니다. GLUE와 마찬가지로 10개 정도의 과제로 구성되어있습니다. 모든 과제들의 점수를 평균을 내어 측정하기 때문에, 한 가지만 아니라 범용적인 능력을 보여주는 모델이 필요합니다.

 

GLUE의 베이스라인은 BiLSTM이었습니다. 반면에 SuperGLUE는 BERT가 기본이 되었습니다. 이제 베이스라인을 넘는 것도 쉽지 않을 것 같습니다^^;

 

 

 

< SuperGLUE >

-> https://super.gluebenchmark.com/

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수
AutoGPT 사용기 - 다른 에이전트 생성 능력 file 깊은바다 2023-04-23 330
생성 에이전트를 ChatGPT 프롬프트만으로 구현 file 깊은바다 2023-04-20 264
GPT가 스스로 계획을 세워서 실행한다면 - AutoGPT와 LangChain file 깊은바다 2023-04-18 1444
ChatGPT 플러그인으로 만든 TODO 예제 file 깊은바다 2023-04-18 198
한국어 초거대AI가 필요한 이유 - 토크나이저와 한국어 콘텐츠 깊은바다 2023-04-17 269
심즈와 비슷한 가상세계를 ChatGPT로 구현 - 생성 에이전트(Generative Agents) file 깊은바다 2023-04-14 1672
ChatGPT 플러그인 전략 및 생태계 변화 전망 file 깊은바다 2023-04-09 1824
ChatGPT 원티드 플러그인 사용 화면 file 깊은바다 2023-04-07 278
GPT-3, InstructGPT, GPT-3.5, ChatGPT의 차이점 깊은바다 2023-04-05 1367
ChatGPT의 오픈소스 버전 - ColossalChat file 깊은바다 2023-03-30 502
ChatGPT 플러그인 구현 방법 - manifest와 OpenAPI Spec file 깊은바다 2023-03-28 648
ChatGPT를 앱스토어 같은 플랫폼으로 확장 - ChatGPT 플러그인 file 깊은바다 2023-03-24 354
딥마인드의 데미스 하사비스, AGI는 신중한 접근 필요 깊은바다 2023-03-22 147
GPT-4 수능 국어영역에서 3등급(상위 17%) 달성 깊은바다 2023-03-21 332
한글전용 초거대AI가 필요한 이유 [2] 깊은바다 2023-03-18 629
목록
쓰기