https://amitness.com/2020/03/illustrated-simclr/

구글에서 또 흥미로운 논문을 발표했습니다. 게다가 제프리 힌튼이 저자로 참여를 했는데요. SimCLR(Simple Framework for Contrastive Learning)이라는 자기지도학습 이미지 사전훈련 방법입니다.

과거의 딥러닝은 학습 전에 항상 가중치를 랜덤으로 초기화했습니다. 사람으로 치면 매번 뇌를 싹 지우고 다시 배우는 것과 마찬가지입니다. 당연히 효율이 낮을 수밖에 없습니다. 지금은 전이학습(Transfer Learning)이 대세입니다. 미리 대량의 데이터로 사전훈련을 합니다. 그다음 모델의 일부분을 재사용하여 새로운 모델을 만들고, 나만의 데이터로 다시 훈련합니다. 이렇게 하면 데이터가 적어도 정확하고 빠르게 학습이 가능합니다.

처음 전이학습이 나왔을 때는 사전훈련을 지도학습으로 했습니다. 정답 라벨이 달린 ImageNet을 주로 사용했습니다. 최근에는 스스로 라벨을 만드는 자기지도학습(Self-supervised Learning)이 떠오르고 있습니다. 사람이 직접 라벨을 작성할 필요가 없기 때문에, 비용과 시간을 훨씬 줄일 수 있습니다.

작년에 구글이 발표한 Selfie(http://aidev.co.kr/deeplearning/7769) 같은 경우는 이미지를 격자로 나눈 다음에 빈 칸을 맞추는 방식이었습니다. 반면에 SimCLR은 이미지 증식(augmentation)을 적용했습니다. 원본 사진과 이를 약간 변형한 사진은 유사도를 높게, 다른 사진과는 유사도를 낮게 구분하도록 학습합니다.

딥마인드의 데미스 하사비스는 전이학습이 강인공지능으로 가는 열쇠라고 말했습니다. 특히 페이스북의 얀 르쿤은 자기지도학습이 가장 중요하다고 강조합니다. 전이학습과 자기지도학습, 이 두가지가 앞으로 딥러닝의 핵심이 될 것 같습니다.