https://www.youtube.com/watch?v=as_q_0d2VOo
일리야 수츠케버는 전세계에서 가장 유명한 AI 전문가 중 한명입니다. 2012년 토론토 대학에서 제프리 힌튼의 박사과정 학생이었습니다. 또다른 학생이었던 알렉스 크리제프스키 함께 3명이서 AlexNet을 개발합니다. 바로 딥러닝의 시작이었습니다.
그후 DNN 리서치를 설립하고 바로 구글에 인수되었습니다. 구글브레인에서 텐서플로우와 알파고 개발에 참여했으며, 2015년에는 샘 알트만과 같이 OpenAI를 창업합니다. ChatGPT와 GPT-4 설계를 주도하면서 지금의 LLM 시대를 본격적으로 열게 됩니다.
2023년 샘 알트만에게 반기를 들며 그를 몰아내지만, 3일 천하로 끝나고 맙니다. 결국 OpenAI를 퇴사하고 SSI(Safe Superintelligence Inc.)를 설립합니다. AGI가 가져올 위험에 대비할 수 있는 연구를 하는 회사입니다.
수츠케버는 이제 다시 연구의 시대가 되었다고 말합니다. 2012~2020년은 딥러닝이 처음 등장하면서 연구에 집중하였습니다. 트랜스포머, BERT, GPT-2 등 새로운 구조의 모델들이 앞다투어 등장했습니다. 그러다 2020년 GPT-3가 나오면서 스케일링의 시대가 되었습니다. 동일한 모델 구조에 파라미터만 늘리면 성능이 올라갔으니까요. 회사 입장에서도 비교적 안전하게 자금을 쏟아부을 수 있었습니다.
하지만 스케일링의 법칙도 이제 한계에 다다랐습니다. AGI를 개발하기 위해서는 다시 연구의 시대로 돌아가야 한다고 주장합니다. 인간처럼 적은 데이터만으로도 빠르게 학습하는 능력이 필요합니다. 또한 지금처럼 한번 학습이 끝나면 멈추는게 아니라, 현실 세계에서 경험을 통해 지속적으로 학습을 계속 해야 합니다.
과연 수츠케버와 그의 회사인 SSI가 전혀 새로운 AI 모델을 선보일 수 있을까요. 개인적으로는 그 시기가 최대한 천천히 왔으면 좋겠습니다. 지금의 AI 기술만으로도 변화가 너무 빨라 적응이 어렵습니다. 만약 인간처럼 스스로 학습하고 성장하는 AGI가 나온다면, 세상이 어떻게 바뀔지 상상하기도 힘드네요.
