글 수 189

페이스북이 발표한 사전훈련 언어모델 RoBERTa

조회 수 1371 추천 수 0 2019.07.30 15:48:50


K-001.png

 

K-002.png

 

https://arxiv.org/pdf/1907.11692.pdf

 

 

 

며칠 전 페이스북에서 새로운 사전훈련 언어모델을 발표했습니다. 아직 그룹에 공유가 되지 않은 것 같아 간단하게 정리하였습니다. RoBERTa(Robustly Optimized BERT Pretraining Approach)는 BERT를 기반으로 하지만 다음과 같이 몇 가지 개선 사항이 있습니다.

 

1. NSP(Next Sentence Prediction) 제거

-> 기존 BERT는 특정 단어를 마스킹하여 맞히는 것과, 두 문장이 이어지는지 판단하는 두 가지 방법으로 학습을 합니다. 여기서 NSP를 빼고 마스킹만 사용하였습니다.

 

2. Dynamic Masking

-> 전처리에서 마스킹을 미리 하지 않고, 모델에 입력할 때 매번 마스킹을 변경합니다.

 

3. 학습 데이터 증가

-> 16GB에서 160GB로 10배 커졌습니다.

 

 

 

사진의 결과를 보면 RoBERTa가 BERT보다 월등한 성능을 보입니다. 또한 최근 공개된 XLNet을 근소한 차이로 앞서고 있습니다. 앞으로 사전훈련 방법을 개선한 다양한 모델이 나오지 않을까 생각됩니다.

List of Articles
제목 글쓴이 날짜 조회 수
GPT2 텍스트 어드벤처 게임, AI Dungeon 앱 출시 깊은바다 2019-12-23 379
네이버 영화리뷰 감정분석 with Hugging Face BERT file 깊은바다 2019-12-17 4151
GPT2로 만든 텍스트 어드벤처 게임 깊은바다 2019-12-09 675
인공지능과 함께 글쓰기! 창의 AI x Bookathon 대회 - GPT2 깊은바다 2019-11-30 558
GLUE: 벤치마크를 통해 BERT 이해하기 깊은바다 2019-11-19 1672
GPT2의 1.5B 모델 공개 깊은바다 2019-11-08 514
GPT2로 글을 작성하는 사이트 - StoryAI file 깊은바다 2019-10-11 1536
딥러닝 기반 자연어 언어모델 BERT - Colab 실습 코드 포함 file 깊은바다 2019-09-02 1132
욕설을 찾는 BERT 모델 - Purifier 깊은바다 2019-08-28 2704
딥러닝을 활용한 뉴스 메타 태깅 깊은바다 2019-08-26 356
100억건의 카카오톡 데이터로 
똑똑한 일상대화 인공지능 만들기 - 핑퐁 멀티턴 file 깊은바다 2019-08-20 1637
새로운 자연어처리 벤치마크 - SuperGLUE 깊은바다 2019-08-15 587
딥러닝을 사용하여 심심이의 나쁜말 필터링 기능 구현 깊은바다 2019-08-14 839
위키에서 질문의 답을 찾는 딥러닝 모델, 페이스북의 DrQA file 깊은바다 2019-08-03 826
페이스북이 발표한 사전훈련 언어모델 RoBERTa file 깊은바다 2019-07-30 1371