글 수 203
https://github.com/bryandlee/malnyun_faces
요즘 딥러닝의 화두는 전이학습(Transfer Learning)입니다. 지금은 과거처럼 바닥부터 새로 학습하지 않습니다. 사람과 비슷하게 이전의 지식을 기반으로 다른 일을 배워나갑니다. 예를 들어, ImageNet과 같은 대량의 사진으로 사전훈련(Pre-training)을 합니다. 그다음 나만의 데이터로 파인튜닝(Fine-tuning)을 수행합니다. 이렇게 하면 적은 데이터로도 더 높은 성능을 낼 수 있습니다. 2018년부터는 자연어처리에서도 전이학습이 대세가 되었습니다. BERT나 GPT2가 대표적입니다.
이제는 GAN과 같은 생성 기법에서도 사전훈련 모델을 활용하기 시작했습니다. NVIDIA의 StyleGAN은 7만장의 얼굴사진으로 훈련을 했습니다. 이 모델을 기반으로 파인튜닝을 했는데, 불과 500장의 웹툰 사진만으로도 학습이 가능하다고 합니다.