글 수 11

딥러닝의 돌파구, 사전훈련과 전이학습

조회 수 167 추천 수 0 2019.12.26 17:13:49


 

 

 

알파고를 만든 딥마인드의 데미스 하사비스는 최근 이런 말을 했습니다. 앞으로 전이학습이 일반 인공지능으로 가는 열쇠가 될거라 강조했습니다. 먼저 대량의 데이터로 사전훈련을 합니다. 이렇게 만든 모델에서 일부분을 추출한 후 새로운 레이어를 추가합니다. 그리고 자신의 데이터로 다시 훈련을 하는 전이학습을 합니다. 이런 방법을 사용하면 적은 데이터로 더 높은 정확도를 얻을 수 있습니다.

 

과거의 신경망은 항상 가중치를 랜덤으로 초기화하고 학습을 했습니다. 반면에 사람은 이전에 얻은 지식을 계속 활용하면서 새로운 지식을 배웁니다. 전이학습이야말로 인간의 뇌와 가장 유사한 방식이라고 생각합니다. 미래의 딥러닝은 하나의 모델로 끊임없이 배우며 범용적으로 동작하지 않을까 예상해봅니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
딥러닝의 돌파구, 사전훈련과 전이학습 깊은바다 2019-12-26 167
강화학습, 개념만 이해하기 깊은바다 2019-10-04 273
신경망의 학습 과정, 경사하강법 깊은바다 2019-08-13 278
신경망의 동작 방식 깊은바다 2019-07-19 155
머신러닝의 5가지 분류 깊은바다 2019-07-05 368
알파고의 창시자, 데미스 하사비스 깊은바다 2019-06-22 192
가짜뉴스를 만드는 인공지능? - GPT2와 언어모델 깊은바다 2019-06-03 218
중국이 인공지능 경쟁에서 유리한 이유 - AI 슈퍼파워 깊은바다 2019-05-20 283
딥러닝은 어떻게 정보를 저장할까 깊은바다 2019-05-05 241
딥러닝, 개념만 이해하기 깊은바다 2019-04-21 466
인공지능의 3가지 요소 깊은바다 2019-04-05 1267