http://aidev.co.kr/chatbotdeeplearning/8881

며칠 전 구글에서 Meena라는 일상대화 모델을 공개했습니다. 파라미터나 데이터셋의 크기가 기존 모델들보다 압도적으로 많습니다. TPU-v3 2048 코어로 한 달이나 돌렸는데요. 구글 클라우드로 대충 13억 정도입니다. 개발을 위해서 여러 번 학습한다는 것을 감안하면 총 비용은 훨씬 올라갑니다.

최근 IT 기술이 딥러닝으로 이동하는 추세입니다. 몇 년전에는 딥러닝 모델을 만들때 컴퓨터 한 대로 하루 이틀 학습하면 충분했었는데요. 이제는 작은 스타트업이 감당하기 점점 어려워지고 있습니다. 아무리 개인 역량이 뛰어나다고 해도 충분한 자원이 없으면 경쟁에 불리합니다.

소규모 업체는 보통 GPU 달린 컴퓨터에 모델을 돌려놓고 다음 날 확인을 합니다. 결과를 보고 조금 수정하고 실행시켜고 또 한참을 대기합니다. 반면에 구글 같은 기업들은 TPU Pod 같은 고성능 머신을 동시에 여러개 운영하며 테스트합니다. 당연히 개발 속도에서 따라잡기가 불가능합니다. 앞으로 딥러닝 시대에는 글로벌 대기업과 나머지 업체들간의 차이가 점점 커질거라 생각합니다.