글 수 136


 

General Architecture of the SimCLR Framework

 

https://amitness.com/2020/03/illustrated-simclr/

 

 

 

구글에서 또 흥미로운 논문을 발표했습니다. 게다가 제프리 힌튼이 저자로 참여를 했는데요. SimCLR(Simple Framework for Contrastive Learning)이라는 자기지도학습 이미지 사전훈련 방법입니다.

 

과거의 딥러닝은 학습 전에 항상 가중치를 랜덤으로 초기화했습니다. 사람으로 치면 매번 뇌를 싹 지우고 다시 배우는 것과 마찬가지입니다. 당연히 효율이 낮을 수밖에 없습니다. 지금은 전이학습(Transfer Learning)이 대세입니다. 미리 대량의 데이터로 사전훈련을 합니다. 그다음 모델의 일부분을 재사용하여 새로운 모델을 만들고, 나만의 데이터로 다시 훈련합니다. 이렇게 하면 데이터가 적어도 정확하고 빠르게 학습이 가능합니다.

 

 

 

처음 전이학습이 나왔을 때는 사전훈련을 지도학습으로 했습니다. 정답 라벨이 달린 ImageNet을 주로 사용했습니다. 최근에는 스스로 라벨을 만드는 자기지도학습(Self-supervised Learning)이 떠오르고 있습니다. 사람이 직접 라벨을 작성할 필요가 없기 때문에, 비용과 시간을 훨씬 줄일 수 있습니다.

 

작년에 구글이 발표한 Selfie(http://aidev.co.kr/deeplearning/7769) 같은 경우는 이미지를 격자로 나눈 다음에 빈 칸을 맞추는 방식이었습니다. 반면에 SimCLR은 이미지 증식(augmentation)을 적용했습니다. 원본 사진과 이를 약간 변형한 사진은 유사도를 높게, 다른 사진과는 유사도를 낮게 구분하도록 학습합니다.

 

딥마인드의 데미스 하사비스는 전이학습이 강인공지능으로 가는 열쇠라고 말했습니다. 특히 페이스북의 얀 르쿤은 자기지도학습이 가장 중요하다고 강조합니다. 전이학습과 자기지도학습, 이 두가지가 앞으로 딥러닝의 핵심이 될 것 같습니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
Style Transfer [1] NeuroWhAI 2018-04-21 1097
텐서플로우로 선형 회귀 구현 file 깊은바다 2017-03-09 1093
딥러닝 GAN으로 생성한 고해상도 사진 [2] 깊은바다 2017-06-08 1055
텐서플로우에서 소프트맥스로 숫자 인식 구현 file 깊은바다 2017-03-09 1048
모두를 위한 머신러닝/딥러닝 강의 깊은바다 2016-04-03 1028
RNN(Recurrent Neural Network) 튜토리얼 깊은바다 2017-07-22 1019
Spiking Neural Networks: 생물학적 신경망을 모방한 차세대 신경망 [2] 깊은바다 2018-08-27 1013
텐서플로우 기초 이해하기 깊은바다 2017-03-11 1003
하나의 얼굴 이미지로 다양하게 변형된 얼굴을 만드는 StarGAN [1] NeuroWhAI 2017-12-30 999
뭔가가 웹사이트를 하나 발견했는데... file [4] LegenDUST 2017-08-23 990
쉽게 씌어진 GAN 깊은바다 2018-04-11 907
퓨샷 러닝(few-shot learning)과 메타 러닝(meta-learning) 깊은바다 2020-06-27 883
AutoML을 이용한 Architecture Search 소개 및 NASNet 논문 리뷰 깊은바다 2019-08-18 857
CNN 초보자가 만드는 초보자 가이드 깊은바다 2017-04-09 846
빈 주차공간을 찾아서 알려주는 인공지능 만든 개발자 깊은바다 2019-02-09 842