젠승 황의 공식 자서전인 <생각하는 기계>를 읽었습니다. 이번 방한에서 GPU 26만장을 약속하며 한국의 AI 발전에 큰 기여를 해주었는데요. 이 책에서는 엔비디아가 어떻게 현재 위치까지 올 수 있었는지 자세히 설명하고 있습니다.
다들 아시다시피 처음 엔비디아는 그래픽 카드를 개발하던 회사였습니다. 설립 당시 이미 35개 회사가 경쟁하고 있었던 치열한 시장이었습니다. 지금은 모두 정리되고 엔비디아와 AMD가 시장을 양분하고 있습니다.
그래픽 카드는 각 픽셀 계산을 순차적이 아니라 동시에 하는게 훨씬 속도가 빠릅니다. 그래서 초기부터 병렬처리 기술을 발전시켰습니다. 젠승 황은 게임 시장을 넘어서 과학 연구에 이런 병렬처리가 필요하게 될 것이라 예상했습니다. 이를 위해 복잡한 병렬처리를 GPU에서 쉽게 사용할 수 있도록 CUDA 플랫폼을 개발합니다.
2006년 CUDA가 출시됐지만 전체 지포스 사용자 중 고작 0.01%만 썼습니다. 그 이후로도 과학 연구 시장은 매우 느리게 성장했습니다. 게임에 더 집중해야 한다며 주위의 반대도 많았습니다. 그럼에도 젠승 황은 꾸준히 지원을 계속합니다.
그로부터 6년 뒤 엄청난 혁신이 조용히 시작되고 있었습니다. 제프리 힌튼은 자신의 연구원이던 알렉스 크리제브스키에게 CUDA로 딥러닝을 구현하라고 지시합니다. GPU가 신경망 연산에 효과적일 것이라 예상하면서요.
코딩에 천재적인 능력을 갖고 있던 알렉스는 자기 방 컴퓨터에 GPU를 설치합니다. 당시 개당 500달러였던 지포스 GTX580 2개였습니다. 다른 연구원이던 일리아 수츠케버(OpenAI 창립멤버)도 합류하여 이미지를 인식하는 딥러닝 모델을 개발합니다. 인텔 CPU로 1시간이 걸리는 계산을 GPU는 30초만에 끝낼 수 있었습니다. 이렇게 만든 프로그램이 바로 최초의 딥러닝 모델인 알렉스넷입니다.
스탠퍼드대 교수인 페이페이 리는 방대한 사진 데이터셋인 이미지넷을 공개하고 2010년부터 대회를 개최했습니다. 알렉스넷은 2012년 대회에서 압도적인 성능으로 우승을 차지합니다. 당시 머신러닝 기술을 쓰던 다른 팀들에 비해 오류율을 10%나 낮추며 업계에 큰 충격을 주었습니다. 바로 딥러닝의 시작을 알리는 역사적인 사건이었습니다. 다음 해 대회에서는 모든 팀들이 머신러닝을 버리고 딥러닝을 채택하게 됩니다.
딥러닝이 탄생할 수 있었던 이유는 3가지입니다. 기존 신경망의 한계를 극복한 제프리 힌튼의 알고리듬, 페이페이 리가 구축했던 방대한 라벨링 데이터, 그리고 마지막으로 병렬처리 기술을 값싸고 쉽게 사용할 수 있었던 젠승 황의 GPU와 CUDA 덕분이었습니다. 엔비디아가 없었으면 딥러닝이 대중화되기까지 더 오랜 시간이 걸렸을 것입니다.
이 3명 모두 남들이 가지 않는 길을 묵묵히 걸으며 미래를 준비했습니다. 그 결과 지금의 AI 혁명이 시작된 것이죠.
]]>
