레플리
글 수 203

얀 르쿤, 자기지도학습이 강화학습보다 중요

조회 수 722 추천 수 0 2020.05.03 16:15:53


 

https://venturebeat.com/2020/05/02/yann-lecun-and-yoshua-bengio-self-supervised-learning-is-the-key-to-human-level-intelligence/

 

 

 

"Most of what we learn as humans and most of what animals learn is in a self-supervised mode, not a reinforcement mode. It’s basically observing the world and interacting with it a little bit, mostly by observation in a test-independent way"

 

 

 

ICLR 2020에서 얀 르쿤의 발표가 있었습니다. 역시 이번에도 자기지도학습(self-superviced learning)에 대해서 강조했습니다. 특히 강화학습보다 자기지도학습이 더 중요하다고 말하기도 했습니다.

 

아기의 예를 들어보겠습니다. 먼저 눈으로 세상을 보면서 비슷한 패턴을 파악하며 그룹으로 묶습니다(비지도학습). 그리고 부모가 이것은 비행기, 저것은 자동차하고 알려주면 머리속의 패턴과 연결합니다(지도학습). 스스로 행동을 해보면서 배우기도 합니다(강화학습).

 

자기지도학습은 지도학습과 비지도학습의 결합이지만 비지도학습에 더 가깝습니다. 우선 지도학습처럼 정답 라벨이 필요합니다. 다만 누가 가르쳐주는 것이 아니라 혼자 만들어냅니다. 보통은 관찰을 통해서 특정 사건에 개념적으로 정의를 내립니다. 공을 손에서 놓으면 떨어진다, 새는 날개를 펄럭이며 날아간다 같은 상식을 구축하는데 필수적입니다.

 

문제는 기계가 스스로 라벨을 만들도록 하기 어렵다는 점입니다. 지금은 문장에서 빈칸의 단어를 맞추거나(BERT), 이미지를 변형하여 원본과 비슷한지 판단하는(contrastive learning) 간단한 방법만 사용하고 있습니다. 앞으로 라벨을 부여하는 기술이 자기지도학습의 핵심이 될 것 같습니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
팩맨 게임을 딥러닝으로 시뮬레이션한 GameGAN 깊은바다 2020-05-23 702
CNN 시각화 사이트 - CNN Explainer 깊은바다 2020-05-10 1454
얀 르쿤, 자기지도학습이 강화학습보다 중요 깊은바다 2020-05-03 722
미디가 아니라 오디오로 음악을 만들어내는 OpenAI의 생성 모델 - Jukebox file 깊은바다 2020-05-02 660
딥러닝 웹서비스 개발 도전기 - 연예인 얼굴 판별기 깊은바다 2020-05-01 3098
사회적 거리를 지키는지 확인하는 지능형 CCTV 깊은바다 2020-04-23 477
딥페이크로 일론 머스크인 척 친구들을 속이는 영상 깊은바다 2020-04-19 1389
딥마인드의 Agent57, 아타리 게임 벤치마크 정복 깊은바다 2020-04-03 455
AutoML-Zero, 진화적 알고리즘을 사용하여 신경망 구조 설계 [2] 깊은바다 2020-03-13 819
자기지도학습 기반의 이미지 사전훈련 모델 - SimCLR 깊은바다 2020-03-10 3015
딥러닝을 사용한 포즈 인식 - Teachable Machine 깊은바다 2020-02-28 2948
딥러닝 챗봇에 대한 오해 깊은바다 2020-02-25 902
Semantic Segmentation을 활용한 차량 파손 탐지 딥러닝 모델 개발기 깊은바다 2020-02-14 734
딥러닝으로 음성합성을 해주는 서비스 - 네이버 클로바더빙 file 깊은바다 2020-02-09 471
데이팅 앱 틴더(Tinder)에서 이미지 인식으로 자동화된 봇 만들기 깊은바다 2020-02-06 662