http://www.g-enews.com/view.php?ud=2019120611584118999a1f309431_1

"제롬 페센티 페이스북 AI 담당 부사장은 "현재 개발된 AI의 처리용량은 임계치에 도달했다"면서 "따라서 획기적인 대안이 나오지 않으면 AI와 머신러닝 기술의 발전은 당분간 정체할 수 밖에 없을 것"이라고 내다봤다."

"현재의 컴퓨팅 능력이 AI의 진화 속도를 충분히 따라가지 못하고 있기 때문인데 컴퓨팅 능력을 획기적으로 개선하려면 개발비용이 천문학적으로 들어가야 하기 때문에 AI 기술이 지속가능하게 진화하는 것은 현재로서는 어려운 실정"

최근 들어 딥러닝 모델의 크기가 급격하게 커지고 있습니다. 파라미터 사이즈를 비교해보면 BERT는 340M, GPT2는 1158M입니다. 얼마 전 공개된 구글의 T5는 무려 11000M입니다. XLNet의 경우 한 번 사전훈련을 하는데 2억 5천만원이 든다고 합니다. 실제로 모델을 개발하는데 여러 번 훈련이 필요하다는 것을 감안하면 그 비용이 훨씬 증가합니다.

이런 문제를 해결하고자 ALBERT, DistilBERT 같이 비교적 작은 사이즈의 모델도 개발되고 있습니다. 하지만 여전히 부담되는 크기입니다. 이제 새로운 딥러닝 기술을 개발하려면 무엇보다 돈이 필요합니다. 예전과 같이 컴퓨터 한 대와 열정만으로 만들던 시대는 지나간 것 같습니다.