레플리
글 수 203


 

General Architecture of the SimCLR Framework

 

https://amitness.com/2020/03/illustrated-simclr/

 

 

 

구글에서 또 흥미로운 논문을 발표했습니다. 게다가 제프리 힌튼이 저자로 참여를 했는데요. SimCLR(Simple Framework for Contrastive Learning)이라는 자기지도학습 이미지 사전훈련 방법입니다.

 

과거의 딥러닝은 학습 전에 항상 가중치를 랜덤으로 초기화했습니다. 사람으로 치면 매번 뇌를 싹 지우고 다시 배우는 것과 마찬가지입니다. 당연히 효율이 낮을 수밖에 없습니다. 지금은 전이학습(Transfer Learning)이 대세입니다. 미리 대량의 데이터로 사전훈련을 합니다. 그다음 모델의 일부분을 재사용하여 새로운 모델을 만들고, 나만의 데이터로 다시 훈련합니다. 이렇게 하면 데이터가 적어도 정확하고 빠르게 학습이 가능합니다.

 

 

 

처음 전이학습이 나왔을 때는 사전훈련을 지도학습으로 했습니다. 정답 라벨이 달린 ImageNet을 주로 사용했습니다. 최근에는 스스로 라벨을 만드는 자기지도학습(Self-supervised Learning)이 떠오르고 있습니다. 사람이 직접 라벨을 작성할 필요가 없기 때문에, 비용과 시간을 훨씬 줄일 수 있습니다.

 

작년에 구글이 발표한 Selfie(http://aidev.co.kr/deeplearning/7769) 같은 경우는 이미지를 격자로 나눈 다음에 빈 칸을 맞추는 방식이었습니다. 반면에 SimCLR은 이미지 증식(augmentation)을 적용했습니다. 원본 사진과 이를 약간 변형한 사진은 유사도를 높게, 다른 사진과는 유사도를 낮게 구분하도록 학습합니다.

 

딥마인드의 데미스 하사비스는 전이학습이 강인공지능으로 가는 열쇠라고 말했습니다. 특히 페이스북의 얀 르쿤은 자기지도학습이 가장 중요하다고 강조합니다. 전이학습과 자기지도학습, 이 두가지가 앞으로 딥러닝의 핵심이 될 것 같습니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
팩맨 게임을 딥러닝으로 시뮬레이션한 GameGAN 깊은바다 2020-05-23 702
CNN 시각화 사이트 - CNN Explainer 깊은바다 2020-05-10 1439
얀 르쿤, 자기지도학습이 강화학습보다 중요 깊은바다 2020-05-03 717
미디가 아니라 오디오로 음악을 만들어내는 OpenAI의 생성 모델 - Jukebox file 깊은바다 2020-05-02 650
딥러닝 웹서비스 개발 도전기 - 연예인 얼굴 판별기 깊은바다 2020-05-01 3089
사회적 거리를 지키는지 확인하는 지능형 CCTV 깊은바다 2020-04-23 477
딥페이크로 일론 머스크인 척 친구들을 속이는 영상 깊은바다 2020-04-19 1389
딥마인드의 Agent57, 아타리 게임 벤치마크 정복 깊은바다 2020-04-03 451
AutoML-Zero, 진화적 알고리즘을 사용하여 신경망 구조 설계 [2] 깊은바다 2020-03-13 817
자기지도학습 기반의 이미지 사전훈련 모델 - SimCLR 깊은바다 2020-03-10 3004
딥러닝을 사용한 포즈 인식 - Teachable Machine 깊은바다 2020-02-28 2930
딥러닝 챗봇에 대한 오해 깊은바다 2020-02-25 902
Semantic Segmentation을 활용한 차량 파손 탐지 딥러닝 모델 개발기 깊은바다 2020-02-14 731
딥러닝으로 음성합성을 해주는 서비스 - 네이버 클로바더빙 file 깊은바다 2020-02-09 471
데이팅 앱 틴더(Tinder)에서 이미지 인식으로 자동화된 봇 만들기 깊은바다 2020-02-06 662