글 수 94

페이스북이 발표한 사전훈련 언어모델 RoBERTa

조회 수 369 추천 수 0 2019.07.30 15:48:50


K-001.png

 

K-002.png

 

https://arxiv.org/pdf/1907.11692.pdf

 

 

 

며칠 전 페이스북에서 새로운 사전훈련 언어모델을 발표했습니다. 아직 그룹에 공유가 되지 않은 것 같아 간단하게 정리하였습니다. RoBERTa(Robustly Optimized BERT Pretraining Approach)는 BERT를 기반으로 하지만 다음과 같이 몇 가지 개선 사항이 있습니다.

 

1. NSP(Next Sentence Prediction) 제거

-> 기존 BERT는 특정 단어를 마스킹하여 맞히는 것과, 두 문장이 이어지는지 판단하는 두 가지 방법으로 학습을 합니다. 여기서 NSP를 빼고 마스킹만 사용하였습니다.

 

2. Dynamic Masking

-> 전처리에서 마스킹을 미리 하지 않고, 모델에 입력할 때 매번 마스킹을 변경합니다.

 

3. 학습 데이터 증가

-> 16GB에서 160GB로 10배 커졌습니다.

 

 

 

사진의 결과를 보면 RoBERTa가 BERT보다 월등한 성능을 보입니다. 또한 최근 공개된 XLNet을 근소한 차이로 앞서고 있습니다. 앞으로 사전훈련 방법을 개선한 다양한 모델이 나오지 않을까 생각됩니다.

List of Articles
제목 글쓴이 날짜 조회 수
GPT2의 1.5B 모델 공개 깊은바다 2019-11-08 52
GPT2로 글을 작성하는 사이트 - StoryAI file 깊은바다 2019-10-11 131
딥러닝 기반 자연어 언어모델 BERT - Colab 실습 코드 포함 file 깊은바다 2019-09-02 404
욕설을 찾는 BERT 모델 - Purifier 깊은바다 2019-08-28 304
딥러닝을 활용한 뉴스 메타 태깅 깊은바다 2019-08-26 143
100억건의 카카오톡 데이터로 
똑똑한 일상대화 인공지능 만들기 - 핑퐁 멀티턴 file 깊은바다 2019-08-20 425
새로운 자연어처리 벤치마크 - SuperGLUE 깊은바다 2019-08-15 214
딥러닝을 사용하여 심심이의 나쁜말 필터링 기능 구현 깊은바다 2019-08-14 206
위키에서 질문의 답을 찾는 딥러닝 모델, 페이스북의 DrQA file 깊은바다 2019-08-03 156
페이스북이 발표한 사전훈련 언어모델 RoBERTa file 깊은바다 2019-07-30 369
케라스로 만든 한글 Seq2Seq 챗봇 소스코드 깊은바다 2019-07-13 585
딥러닝 자연어처리 강의 - Natural Language Processing with PyTorch 깊은바다 2019-07-06 299
딥러닝을 사용하여 의도 및 엔티티를 파악하는 챗봇 소스코드 file 깊은바다 2019-06-25 703
가짜뉴스를 생성 또는 판별하는 딥러닝 모델 - Grover 깊은바다 2019-06-01 335
GPT2를 Colab에서 테스트할 수 있는 코드 깊은바다 2019-05-21 354