레플리
글 수 203


 

General Architecture of the SimCLR Framework

 

https://amitness.com/2020/03/illustrated-simclr/

 

 

 

구글에서 또 흥미로운 논문을 발표했습니다. 게다가 제프리 힌튼이 저자로 참여를 했는데요. SimCLR(Simple Framework for Contrastive Learning)이라는 자기지도학습 이미지 사전훈련 방법입니다.

 

과거의 딥러닝은 학습 전에 항상 가중치를 랜덤으로 초기화했습니다. 사람으로 치면 매번 뇌를 싹 지우고 다시 배우는 것과 마찬가지입니다. 당연히 효율이 낮을 수밖에 없습니다. 지금은 전이학습(Transfer Learning)이 대세입니다. 미리 대량의 데이터로 사전훈련을 합니다. 그다음 모델의 일부분을 재사용하여 새로운 모델을 만들고, 나만의 데이터로 다시 훈련합니다. 이렇게 하면 데이터가 적어도 정확하고 빠르게 학습이 가능합니다.

 

 

 

처음 전이학습이 나왔을 때는 사전훈련을 지도학습으로 했습니다. 정답 라벨이 달린 ImageNet을 주로 사용했습니다. 최근에는 스스로 라벨을 만드는 자기지도학습(Self-supervised Learning)이 떠오르고 있습니다. 사람이 직접 라벨을 작성할 필요가 없기 때문에, 비용과 시간을 훨씬 줄일 수 있습니다.

 

작년에 구글이 발표한 Selfie(http://aidev.co.kr/deeplearning/7769) 같은 경우는 이미지를 격자로 나눈 다음에 빈 칸을 맞추는 방식이었습니다. 반면에 SimCLR은 이미지 증식(augmentation)을 적용했습니다. 원본 사진과 이를 약간 변형한 사진은 유사도를 높게, 다른 사진과는 유사도를 낮게 구분하도록 학습합니다.

 

딥마인드의 데미스 하사비스는 전이학습이 강인공지능으로 가는 열쇠라고 말했습니다. 특히 페이스북의 얀 르쿤은 자기지도학습이 가장 중요하다고 강조합니다. 전이학습과 자기지도학습, 이 두가지가 앞으로 딥러닝의 핵심이 될 것 같습니다.

엮인글 :
List of Articles
제목 글쓴이 날짜sort 조회 수
OpenAI의 Sora로 만든 단편영화 file 깊은바다 2024-03-26 62
만약 ChatGPT가 영상으로 세상을 이해하게 된다면? file 깊은바다 2024-02-16 233
인도의 생성AI 영화 - Maharaja in Denims 깊은바다 2024-01-16 184
누구나 쉽게 AI 인플루언서를 만드는 시대 - Aitana Lopez file 깊은바다 2024-01-04 159
95생 천재 소녀가 만든 Pika가 빅테크들을 이길 수 있었던 이유 file [2] 깊은바다 2023-12-24 949
Text-to-Video 생성 서비스인 Pika, 5500만달러 투자 유치 file 깊은바다 2023-11-29 139
AI의 미래 - Coatue가 주목한 AI 산업 트렌드 깊은바다 2023-11-28 187
가구 카탈로그를 만들어주는 생성AI - 뚝딱 AI 스튜디오 file 깊은바다 2023-09-22 339
내가 원하는 사진을 만드는 생성AI SNS - 트윅(Tweak) file 깊은바다 2023-09-04 444
마우스로 끌어서 사진을 수정하는 딥러닝 - DragGAN 깊은바다 2023-05-21 430
생성 AI의 시대, 진짜 메타버스가 온다 깊은바다 2023-04-04 363
ChatGPT와 Stable Diffusion에 대한 정지훈 교수님 강의 깊은바다 2023-04-03 409
미드저니로 생성한 90년대 중국 사진들 - 콘텐츠 산업의 혁신 file 깊은바다 2023-03-30 737
어도비의 생성AI 프로그램 - Firefly 깊은바다 2023-03-23 339
초거대AI를 API로 썼을 때 경쟁업체와 차별화를 하려면 깊은바다 2023-03-20 289