글 수 100

페이스북이 발표한 사전훈련 언어모델 RoBERTa

조회 수 573 추천 수 0 2019.07.30 15:48:50


K-001.png

 

K-002.png

 

https://arxiv.org/pdf/1907.11692.pdf

 

 

 

며칠 전 페이스북에서 새로운 사전훈련 언어모델을 발표했습니다. 아직 그룹에 공유가 되지 않은 것 같아 간단하게 정리하였습니다. RoBERTa(Robustly Optimized BERT Pretraining Approach)는 BERT를 기반으로 하지만 다음과 같이 몇 가지 개선 사항이 있습니다.

 

1. NSP(Next Sentence Prediction) 제거

-> 기존 BERT는 특정 단어를 마스킹하여 맞히는 것과, 두 문장이 이어지는지 판단하는 두 가지 방법으로 학습을 합니다. 여기서 NSP를 빼고 마스킹만 사용하였습니다.

 

2. Dynamic Masking

-> 전처리에서 마스킹을 미리 하지 않고, 모델에 입력할 때 매번 마스킹을 변경합니다.

 

3. 학습 데이터 증가

-> 16GB에서 160GB로 10배 커졌습니다.

 

 

 

사진의 결과를 보면 RoBERTa가 BERT보다 월등한 성능을 보입니다. 또한 최근 공개된 XLNet을 근소한 차이로 앞서고 있습니다. 앞으로 사전훈련 방법을 개선한 다양한 모델이 나오지 않을까 생각됩니다.

List of Articles
제목 글쓴이 날짜 조회 수
페이스북이 발표한 사전훈련 언어모델 RoBERTa file 깊은바다 2019-07-30 573
케라스로 만든 한글 Seq2Seq 챗봇 소스코드 깊은바다 2019-07-13 853
딥러닝 자연어처리 강의 - Natural Language Processing with PyTorch 깊은바다 2019-07-06 385
딥러닝을 사용하여 의도 및 엔티티를 파악하는 챗봇 소스코드 file 깊은바다 2019-06-25 929
가짜뉴스를 생성 또는 판별하는 딥러닝 모델 - Grover 깊은바다 2019-06-01 405
GPT2를 Colab에서 테스트할 수 있는 코드 깊은바다 2019-05-21 481
인간의 언어를 이해하는 기계, NLU 깊은바다 2019-05-17 544
Jay Alammar의 트랜스포머 한글 번역글 깊은바다 2019-05-09 465
BERT로 토익 문제를 푸는 프로젝트 file 깊은바다 2019-04-30 915
워드 임베딩에 대한 아주 쉬운 설명 - The Illustrated Word2vec 깊은바다 2019-04-09 405
대화 인공지능 대회 - ConvAI file 깊은바다 2019-03-25 457
문장의 유사성을 예측하고 평가하는 AI - 카카오 심슨 깊은바다 2019-03-20 808
OpenAI Transformer GPT2로 만든 언어 모델 깊은바다 2019-02-17 1654
텐서플로에서 사전 훈련된 임베딩을 사용하는 예제 깊은바다 2019-02-02 353
목적지향 대화 학습 - Learning End-to-End Goal-Oriented Dialog file 깊은바다 2019-02-02 511