글 수 181

페이스북이 발표한 사전훈련 언어모델 RoBERTa

조회 수 1342 추천 수 0 2019.07.30 15:48:50


K-001.png

 

K-002.png

 

https://arxiv.org/pdf/1907.11692.pdf

 

 

 

며칠 전 페이스북에서 새로운 사전훈련 언어모델을 발표했습니다. 아직 그룹에 공유가 되지 않은 것 같아 간단하게 정리하였습니다. RoBERTa(Robustly Optimized BERT Pretraining Approach)는 BERT를 기반으로 하지만 다음과 같이 몇 가지 개선 사항이 있습니다.

 

1. NSP(Next Sentence Prediction) 제거

-> 기존 BERT는 특정 단어를 마스킹하여 맞히는 것과, 두 문장이 이어지는지 판단하는 두 가지 방법으로 학습을 합니다. 여기서 NSP를 빼고 마스킹만 사용하였습니다.

 

2. Dynamic Masking

-> 전처리에서 마스킹을 미리 하지 않고, 모델에 입력할 때 매번 마스킹을 변경합니다.

 

3. 학습 데이터 증가

-> 16GB에서 160GB로 10배 커졌습니다.

 

 

 

사진의 결과를 보면 RoBERTa가 BERT보다 월등한 성능을 보입니다. 또한 최근 공개된 XLNet을 근소한 차이로 앞서고 있습니다. 앞으로 사전훈련 방법을 개선한 다양한 모델이 나오지 않을까 생각됩니다.

List of Articles
제목 글쓴이 날짜 조회 수
욕설을 찾는 BERT 모델 - Purifier 깊은바다 2019-08-28 2373
딥러닝을 활용한 뉴스 메타 태깅 깊은바다 2019-08-26 345
100억건의 카카오톡 데이터로 
똑똑한 일상대화 인공지능 만들기 - 핑퐁 멀티턴 file 깊은바다 2019-08-20 1606
새로운 자연어처리 벤치마크 - SuperGLUE 깊은바다 2019-08-15 566
딥러닝을 사용하여 심심이의 나쁜말 필터링 기능 구현 깊은바다 2019-08-14 812
위키에서 질문의 답을 찾는 딥러닝 모델, 페이스북의 DrQA file 깊은바다 2019-08-03 806
페이스북이 발표한 사전훈련 언어모델 RoBERTa file 깊은바다 2019-07-30 1342
케라스로 만든 한글 Seq2Seq 챗봇 소스코드 깊은바다 2019-07-13 2779
딥러닝 자연어처리 강의 - Natural Language Processing with PyTorch 깊은바다 2019-07-06 641
딥러닝을 사용하여 의도 및 엔티티를 파악하는 챗봇 소스코드 file 깊은바다 2019-06-25 2093
가짜뉴스를 생성 또는 판별하는 딥러닝 모델 - Grover 깊은바다 2019-06-01 910
GPT2를 Colab에서 테스트할 수 있는 코드 깊은바다 2019-05-21 1477
인간의 언어를 이해하는 기계, NLU 깊은바다 2019-05-17 815
Jay Alammar의 트랜스포머 한글 번역글 깊은바다 2019-05-09 935
BERT로 토익 문제를 푸는 프로젝트 file 깊은바다 2019-04-30 2116