메타AI의 얀 르쿤은 특히 자기지도학습(Self-supervised learning)을 강조해왔습니다. 지금처럼 정답 라벨을 사람이 작성하는 지도학습은 한계가 있으니까요. 사람과 마찬가지로 인공지능 역시 누가 가르쳐주지 않아도 스스로 배워야 합니다.
현재도 자기지도학습이 많이 쓰이고 있습니다. 자연어처리에서는 Word2vec이 대표적이었고, 지금은 BERT 같은 사전훈련모델들에서 널리 사용되고 있습니다. 이미지 역시 마찬가지입니다. BERT처럼 사진을 masking하여 예측하거나, 이미지를 변형하여 원본과 같은 것인지 맞추는 contrastive 방식이 있습니다.
지금까지는 이렇게 각 모달마다 각각 다른 모델로 구현했습니다. 최근 메타에서 이를 하나의 모델로 학습하는 Data2vec을 공개했습니다. 가장 핵심은 텍스트, 이미지, 사운드의 자기지도 방식을 동일하게 적용하는 것입니다.
Data2vec은 teacher-student라는 방법을 사용했습니다. teacher와 student는 동일한 구조의 transformer 모델입니다. 다만 teacher는 원본 데이터를 그대로 받아서 예측하고, student는 원본을 마스킹하여 예측합니다. 그리고 student가 teacher의 representation과 동일하게 예측하도록 학습합니다. teacher는 다시 student의 가중치를 복사하여 최신상태를 유지합니다.
확실히 이제 transformer가 딥러닝 표준이 되었네요. 멀티모달에 강하다는 것이 큰 장점이라 생각합니다. 앞으로도 계속 새로운 자기지도 학습방법이 나올거라 기대합니다.