레플리
글 수 282

새로운 자연어처리 벤치마크 - SuperGLUE

조회 수 703 추천 수 0 2019.08.15 18:50:19
깊은바다 *.68.247.186


https://ai.facebook.com/blog/new-advances-in-natural-language-processing-to-better-connect-people/

 

 

 

GLUE(General Language Understanding Evaluation)는 SQuAD(Stanford Question Answering Dataset)와 함께 대표적인 자연어처리 벤치마크입니다. 최근 XLNet, RoBERTa 등 최신 모델들이 등장하면서 GLUE의 휴먼 베이스라인을 능가하기 시작했습니다.

 

이런 문제를 해결하기 위해 페이스북, 뉴욕대, 딥마인드, 워싱턴대가 협력하여 새로운 SuperGLUE를 공개했습니다. GLUE와 마찬가지로 10개 정도의 과제로 구성되어있습니다. 모든 과제들의 점수를 평균을 내어 측정하기 때문에, 한 가지만 아니라 범용적인 능력을 보여주는 모델이 필요합니다.

 

GLUE의 베이스라인은 BiLSTM이었습니다. 반면에 SuperGLUE는 BERT가 기본이 되었습니다. 이제 베이스라인을 넘는 것도 쉽지 않을 것 같습니다^^;

 

 

 

< SuperGLUE >

-> https://super.gluebenchmark.com/

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
BERT 톺아보기 깊은바다 2018-12-17 26395
딥러닝을 사용한 챗봇 개발방법 정리 file 깊은바다 2018-02-03 25438
초거대모델의 파인튜닝 방법 - P-tuning과 LoRA file 깊은바다 2022-04-05 12047
글쓰기 보조 서비스 JasperAI, ChatGPT 때문에 어려움 직면 깊은바다 2023-03-01 9693
RAG(Retrieval-Augmented Generation) - LLM의 환각을 줄이는 방법 file 깊은바다 2023-07-04 9665
딥러닝 RNN으로 구현한 챗봇 깊은바다 2017-08-01 8135
문장을 학습하는 딥러닝 RNN의 Seq2Seq 모델 설명 file 깊은바다 2017-09-15 7327
챗봇에 딥러닝 학습을 적용하기 어려운 이유 file 깊은바다 2018-03-23 6641
KoGPT2, KoBERT, KoELECTRA로 만든 심리상담 챗봇 file 깊은바다 2020-08-05 6350
문장을 입력하면 비슷한 짤방을 보여주는 프로젝트 file 깊은바다 2019-01-28 6172
SKT가 공개한 한글 GPT2 - KoGPT2 깊은바다 2020-02-02 5296
챗봇에서 유사한 문장 자동인식 방법 file 깊은바다 2018-04-27 5151
네이버 영화리뷰 감정분석 with Hugging Face BERT file 깊은바다 2019-12-17 4667
사전학습을 통한 구글의 자연어처리 언어 모델 - BERT file 깊은바다 2018-11-03 4299
인라이플의 한글 BERT 대형모델 깊은바다 2020-05-18 4246
목록
쓰기