https://thenextweb.com/news/pioneers-deep-learning-future-lit-syndication

제프리 힌튼, 얀 르쿤, 요수아 벤지오는 딥러닝을 개척한 공로로 2018년 튜링상을 받았습니다. 얼마 전 이 세 분이 공동으로 'Deep Learning for AI'라는 논문을 발표했습니다. 딥러닝의 발전과정을 간단히 정리하고, 앞으로 어떤 방향으로 연구가 필요한지 밝히고 있습니다.

지금까지는 지도학습이 큰 성과를 냈지만 한계가 있습니다. 정답 라벨을 작성하는데 사람의 노력이 너무 들기 때문입니다. 강화학습도 좋은 대안입니다. 그러나 학습에 필요한 계산시간이 너무 방대하다는 문제가 있습니다.

가장 좋은 방법으로 자기지도학습(self-supervised learning)을 들고 있습니다. 이미 BERT, GPT 같은 사전훈련 모델들이 사용하고 있습니다. 지도학습처럼 라벨이 있지만, 그 라벨을 사람이 아니라 기계가 자동으로 작성합니다.

또한 게리 마커스가 주장하는 하이브리드 방식에는 선을 긋고 있습니다. 굳이 기호주의 AI와 결합할 필요가 없습니다. 오히려 사람의 설계가 들어가면 딥러닝의 확장성과 범용성이 제한되어 버립니다.

물론 지금의 딥러닝은 기호처리, 추론, 다단계 계획, 인과관계 등을 잘 수행하지 못합니다. 하지만 신경망 구조를 발전시키다보면 결국 이런 문제점들이 해결될 것입니다. 이를 위해서는 System 2 deep learning이 필요하다고 말합니다.

< 논문 >

https://cacm.acm.org/.../253464-deep-learning.../fulltext