레플리
글 수 295

새로운 자연어처리 벤치마크 - SuperGLUE

조회 수 778 추천 수 0 2019.08.15 18:50:19
깊은바다 *.68.247.186


https://ai.facebook.com/blog/new-advances-in-natural-language-processing-to-better-connect-people/

 

 

 

GLUE(General Language Understanding Evaluation)는 SQuAD(Stanford Question Answering Dataset)와 함께 대표적인 자연어처리 벤치마크입니다. 최근 XLNet, RoBERTa 등 최신 모델들이 등장하면서 GLUE의 휴먼 베이스라인을 능가하기 시작했습니다.

 

이런 문제를 해결하기 위해 페이스북, 뉴욕대, 딥마인드, 워싱턴대가 협력하여 새로운 SuperGLUE를 공개했습니다. GLUE와 마찬가지로 10개 정도의 과제로 구성되어있습니다. 모든 과제들의 점수를 평균을 내어 측정하기 때문에, 한 가지만 아니라 범용적인 능력을 보여주는 모델이 필요합니다.

 

GLUE의 베이스라인은 BiLSTM이었습니다. 반면에 SuperGLUE는 BERT가 기본이 되었습니다. 이제 베이스라인을 넘는 것도 쉽지 않을 것 같습니다^^;

 

 

 

< SuperGLUE >

-> https://super.gluebenchmark.com/

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수
GPT-2를 사용한 텍스트 압축 기법 file 깊은바다 2021-02-19 532
딥러닝 자연어처리 라이브러리 - Pororo file 깊은바다 2021-02-03 2118
스캐터랩의 오픈도메인 챗봇 루다 육아일기 - 모델의 구조 및 동작방식 file 깊은바다 2020-12-30 1430
일상대화 챗봇 레플리카(Replika)의 구현 방식 file 깊은바다 2020-12-22 1659
좋은 응답을 골라내는 모델 만들기 - 핑퐁의 답변매칭 알고리즘 깊은바다 2020-12-10 611
GPT-3를 헬스케어 서비스에 적용했을 때의 문제점들 깊은바다 2020-11-04 746
스캐터랩의 핑퐁팀, 새로운 생성 모델 챗봇 데모 공개 깊은바다 2020-11-02 933
카카오미니의 명령어 분류 방법 깊은바다 2020-10-23 286
딥러닝으로 동네생활 게시글 필터링하기 깊은바다 2020-10-06 441
KoNLPy를 이용하여 Huggingface Transformers 학습하기 깊은바다 2020-09-20 1629
GPT-3 패러다임을 바꿀 미친 성능의 인공지능 등장 및 활용 사례 10가지 깊은바다 2020-09-14 838
GPT3 유료화 가격 공개 file 깊은바다 2020-09-04 1781
GPT-3의 다섯 가지 한계 깊은바다 2020-08-23 1104
그림으로 아주 쉽게 설명한, The Illustrated GPT-2 깊은바다 2020-08-15 2929
한국어로 대화하는 생성 모델의 학습을 위한 여정 - Transformer와 GPT2 깊은바다 2020-08-13 3601
목록
쓰기