얀 르쿤은 딥러닝의 3대 석학 중 한 명으로, 현재 페이스북의 AI 수장입니다. 1989년 AT&T 벨 연구소에 있을 때 CNN(Convolutional Neural Network)을 처음 발표하였습니다. 1993년에 찍은 LeNet1의 테스트 영상을 소개해드립니다. 이후 1998년에는 LeNet5가 실제 은행에서 수표 검사를 하는데 사용되었습니다. 현재 가장 유명한 데이터셋인 MNIST는 이때 만들어졌다고 합니다.

하지만 당시에는 간단한 이미지만 인식이 가능했습니다. 보다 큰 사이즈의 복잡한 사진을 처리하려면 모델이 더 커져야 합니다. 그렇게 하면 깊은 층으로 학습이 안되는 그래디언트 소실과, 훈련 데이터에만 딱 맞는 과대적합이 발생합니다. 이런 문제들을 해결하지 못했기 때문에 신경망에 대한 관심이 다시 사라지게 됩니다.

그러다 2012년 제프리 힌튼이 ImageNet 대회에서 우승을 하며 딥러닝이 시작되었습니다. 새롭게 개발한 AlexNet은 얀 르쿤의 CNN을 기반으로 ReLU, Dropout 같은 방법들을 적용하였습니다. 덕분에 깊은 신경망에서도 학습이 잘 되면서 놀라운 성능을 보여줬습니다.