레플리
글 수 203

메타AI의 멀티모달 자기지도학습 모델인 Data2vec

조회 수 1028 추천 수 0 2022.01.26 12:31:26


https://ai.facebook.com/blog/the-first-high-performance-self-supervised-algorithm-that-works-for-speech-vision-and-text

 

 

 

메타AI의 얀 르쿤은 특히 자기지도학습(Self-supervised learning)을 강조해왔습니다. 지금처럼 정답 라벨을 사람이 작성하는 지도학습은 한계가 있으니까요. 사람과 마찬가지로 인공지능 역시 누가 가르쳐주지 않아도 스스로 배워야 합니다.

 

현재도 자기지도학습이 많이 쓰이고 있습니다. 자연어처리에서는 Word2vec이 대표적이었고, 지금은 BERT 같은 사전훈련모델들에서 널리 사용되고 있습니다. 이미지 역시 마찬가지입니다. BERT처럼 사진을 masking하여 예측하거나, 이미지를 변형하여 원본과 같은 것인지 맞추는 contrastive 방식이 있습니다.

 

지금까지는 이렇게 각 모달마다 각각 다른 모델로 구현했습니다. 최근 메타에서 이를 하나의 모델로 학습하는 Data2vec을 공개했습니다. 가장 핵심은 텍스트, 이미지, 사운드의 자기지도 방식을 동일하게 적용하는 것입니다.

 

Data2vec은 teacher-student라는 방법을 사용했습니다. teacher와 student는 동일한 구조의 transformer 모델입니다. 다만 teacher는 원본 데이터를 그대로 받아서 예측하고, student는 원본을 마스킹하여 예측합니다. 그리고 student가 teacher의 representation과 동일하게 예측하도록 학습합니다. teacher는 다시 student의 가중치를 복사하여 최신상태를 유지합니다.

 

확실히 이제 transformer가 딥러닝 표준이 되었네요. 멀티모달에 강하다는 것이 큰 장점이라 생각합니다. 앞으로도 계속 새로운 자기지도 학습방법이 나올거라 기대합니다.

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
오픈소스로 공개된 Text-to-Image 모델 - Stable Diffusion 깊은바다 2022-09-07 1336
Dall.E 2 Prompt Book - 프롬프트 작성 가이드 깊은바다 2022-07-14 4339
최초로 인간 수준의 크기를 가진 중국의 딥러닝 모델 - BaGuaLu file 깊은바다 2022-06-23 1116
미국에서 Dalle Mini로 짤(Meme)을 만드는게 유행 file 깊은바다 2022-06-19 1582
말로 영상을 생성하는 딥러닝 모델 - CogVideo file 깊은바다 2022-05-30 1069
DALL.E를 직접 테스트해볼 수 있는 사이트 - DALL.E mini file 깊은바다 2022-05-17 11518
전문가 수준의 사진을 생성하는 NVIDIA의 PoE-GAN 깊은바다 2022-02-16 1279
메타AI의 멀티모달 자기지도학습 모델인 Data2vec 깊은바다 2022-01-26 1028
GAN으로 사진에서 특정 부분을 지워주는 서비스 - Cleanup.pictures file 깊은바다 2022-01-17 1018
3D 이미지를 만드는 GAN - StyleNeRF 깊은바다 2021-12-20 835
CLIP을 사용하여 말로 그림을 그려주는 스마트폰 앱 - WOMBO Dream file 깊은바다 2021-11-25 1777
내가 말하는 걸 보여줘, DALL-E 깊은바다 2021-11-11 1062
텍스트를 이미지로 생성해주는 사이트 - Text2Art (VQGAN-CLIP) file 깊은바다 2021-11-10 6865
원티드는 어떻게 AI로 채용 결과를 예측하고 매칭할까 깊은바다 2021-11-09 959
OpenAI의 CLIP을 한글로 구현한 KoCLIP file 깊은바다 2021-11-02 2732