글 수 106


 

General Architecture of the SimCLR Framework

 

https://amitness.com/2020/03/illustrated-simclr/

 

 

 

구글에서 또 흥미로운 논문을 발표했습니다. 게다가 제프리 힌튼이 저자로 참여를 했는데요. SimCLR(Simple Framework for Contrastive Learning)이라는 자기지도학습 이미지 사전훈련 방법입니다.

 

과거의 딥러닝은 학습 전에 항상 가중치를 랜덤으로 초기화했습니다. 사람으로 치면 매번 뇌를 싹 지우고 다시 배우는 것과 마찬가지입니다. 당연히 효율이 낮을 수밖에 없습니다. 지금은 전이학습(Transfer Learning)이 대세입니다. 미리 대량의 데이터로 사전훈련을 합니다. 그다음 모델의 일부분을 재사용하여 새로운 모델을 만들고, 나만의 데이터로 다시 훈련합니다. 이렇게 하면 데이터가 적어도 정확하고 빠르게 학습이 가능합니다.

 

 

 

처음 전이학습이 나왔을 때는 사전훈련을 지도학습으로 했습니다. 정답 라벨이 달린 ImageNet을 주로 사용했습니다. 최근에는 스스로 라벨을 만드는 자기지도학습(Self-supervised Learning)이 떠오르고 있습니다. 사람이 직접 라벨을 작성할 필요가 없기 때문에, 비용과 시간을 훨씬 줄일 수 있습니다.

 

작년에 구글이 발표한 Selfie(http://aidev.co.kr/deeplearning/7769) 같은 경우는 이미지를 격자로 나눈 다음에 빈 칸을 맞추는 방식이었습니다. 반면에 SimCLR은 이미지 증식(augmentation)을 적용했습니다. 원본 사진과 이를 약간 변형한 사진은 유사도를 높게, 다른 사진과는 유사도를 낮게 구분하도록 학습합니다.

 

딥마인드의 데미스 하사비스는 전이학습이 강인공지능으로 가는 열쇠라고 말했습니다. 특히 페이스북의 얀 르쿤은 자기지도학습이 가장 중요하다고 강조합니다. 전이학습과 자기지도학습, 이 두가지가 앞으로 딥러닝의 핵심이 될 것 같습니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
딥마인드의 Agent57, 아타리 게임 벤치마크 정복 new 깊은바다 2020-04-03 12
AutoML-Zero, 진화적 알고리즘을 사용하여 신경망 구조 설계 [2] 깊은바다 2020-03-13 216
자기지도학습 기반의 이미지 사전훈련 모델 - SimCLR 깊은바다 2020-03-10 156
딥러닝을 사용한 포즈 인식 - Teachable Machine 깊은바다 2020-02-28 100
딥러닝 챗봇에 대한 오해 깊은바다 2020-02-25 159
Semantic Segmentation을 활용한 차량 파손 탐지 딥러닝 모델 개발기 깊은바다 2020-02-14 318
딥러닝으로 음성합성을 해주는 서비스 - 네이버 클로바더빙 file 깊은바다 2020-02-09 131
데이팅 앱 틴더(Tinder)에서 이미지 인식으로 자동화된 봇 만들기 깊은바다 2020-02-06 140
딥러닝 시대에 글로벌 대기업들을 따라잡을 수 있을까 깊은바다 2020-01-30 168
얀 르쿤이 만든 최초의 CNN 테스트 영상 깊은바다 2020-01-19 236
어떻게 해야 기계에게 글을 잘 읽고 말할 수 있게 할까? - 기계독해(MRC) 깊은바다 2020-01-14 167
딥페이크로 만든 실베스터 스탤론의 터미네이터2 깊은바다 2019-12-29 203
최신 딥러닝 모델들의 학습 비용 깊은바다 2019-12-12 358
딥러닝이 작동하는 원리는? 깊은바다 2019-11-17 366
GAN을 활용한 My handwriting styler 깊은바다 2019-10-20 359