레플리
글 수 203


K-001.png

 

https://drive.google.com/file/d/1f0sPHv7ozHafASPwIOfuvF_RvP3FDPY0/view?fbclid=IwAR1cutBNYOI5wwjbWkOz4c-EXCAI3Ud1GA4ra4GLy9HELRYMCbADd96LEFc

 

 

 

페이스북 AI 연구소의 수장인 얀 르쿤이 최근 발표한 자료입니다. 앞부분에서는 딥러닝에 대해 간략히 소개합니다. 중요한 것은 뒷부분인데, 비지도학습의 한 방법인 자기지도학습(Self-Supervised Learning)을 자세히 다루고 있습니다.

 

작년 말부터 BERT와 GPT2 등 자연어처리에서 자기지도학습이 놀라운 성능을 보여왔습니다. 앞으로 이미지나 영상에서도 이 방법이 주류로 떠오르지 않을까 합니다. 사람은 보통 시각정보를 통해 학습을 합니다. 눈으로 입력받은 연속적인 화면을 보고 다음 화면을 예측합니다. 이를 통해 자연스럽게 세상의 상식을 배웁니다. 예를 들어, 공을 떨어뜨리면 현재 위치보다 아래로 향할 것이라고 추측합니다.

 

 

 

마찬가지로 시계열의 영상을 사용하여 자기지도학습이 가능합니다. 과거의 이미지들이 입력으로 들어가고 다음 이미지를 예측합니다. BERT와 GPT2가 텍스트를 사용한다면, 여기서는 화면이라는 차이가 있을 뿐 기본적인 원리는 비슷합니다. 이렇게 사전훈련을 하여 세상에 대한 지식을 구축합니다. 그리고 이 모델을 전이학습을 하여 다양한 곳에 응용할 수 있습니다.

 

작년 초에 발표된 월드 모델(World Models)이 이런 방식과 유사합니다. VAE로 화면의 특징 벡터를 뽑아내고, 이를 RNN을 통해 다음 화면을 예측합니다. 그리고 미래의 상황에서 어떤 행동을 할지 배우는 강화학습을 수행합니다.

 

http://aidev.co.kr/deeplearning/4304

 

 

 

문제는 영상을 학습하기 위해서는 그만큼 자원과 시간이 많이 든다는 점입니다. 또한 사전훈련 모델을 효과적으로 전이학습하는 방법을 아직 확실하게 모릅니다. 하지만 올해나 내년에는 이렇게 영상을 자기지도하는 모델이 크게 떠오르지 않을까 생각됩니다.

List of Articles
제목 글쓴이 날짜 조회 수sort
Text-to-Image 모델을 정리한 글 - The State of AI and Art 2022 깊은바다 2022-10-06 1168
GAN으로 만든 가짜 사진과 진짜 사진을 맞추는 사이트 file 깊은바다 2019-03-04 1176
텐서플로우 기초 이해하기 깊은바다 2017-03-11 1204
AutoML을 이용한 Architecture Search 소개 및 NASNet 논문 리뷰 깊은바다 2019-08-18 1204
빈 주차공간을 찾아서 알려주는 인공지능 만든 개발자 깊은바다 2019-02-09 1210
사진을 복원하는 딥러닝 모델 - DFDNet 깊은바다 2020-08-24 1218
모두를 위한 머신러닝/딥러닝 강의 깊은바다 2016-04-03 1224
쉽게 씌어진 GAN 깊은바다 2018-04-11 1224
최신 딥러닝 모델들의 학습 비용 깊은바다 2019-12-12 1259
전문가 수준의 사진을 생성하는 NVIDIA의 PoE-GAN 깊은바다 2022-02-16 1279
아이폰에서 실행하는 Stable Diffusion 앱 - Draw Things 깊은바다 2022-11-11 1285
딥러닝 GAN으로 생성한 고해상도 사진 [2] 깊은바다 2017-06-08 1290
하나의 얼굴 이미지로 다양하게 변형된 얼굴을 만드는 StarGAN [1] NeuroWhAI 2017-12-30 1301
RNN(Recurrent Neural Network) 튜토리얼 깊은바다 2017-07-22 1302
딥러닝 범용 모델 - Foundation Models 깊은바다 2021-09-06 1317