글 수 101


K-001.png

 

http://aidev.co.kr/chatbotdeeplearning/8881

 

 

 

며칠 전 구글에서 Meena라는 일상대화 모델을 공개했습니다. 파라미터나 데이터셋의 크기가 기존 모델들보다 압도적으로 많습니다. TPU-v3 2048 코어로 한 달이나 돌렸는데요. 구글 클라우드로 대충 13억 정도입니다. 개발을 위해서 여러 번 학습한다는 것을 감안하면 총 비용은 훨씬 올라갑니다.

 

최근 IT 기술이 딥러닝으로 이동하는 추세입니다. 몇 년전에는 딥러닝 모델을 만들때 컴퓨터 한 대로 하루 이틀 학습하면 충분했었는데요. 이제는 작은 스타트업이 감당하기 점점 어려워지고 있습니다. 아무리 개인 역량이 뛰어나다고 해도 충분한 자원이 없으면 경쟁에 불리합니다.

 

소규모 업체는 보통 GPU 달린 컴퓨터에 모델을 돌려놓고 다음 날 확인을 합니다. 결과를 보고 조금 수정하고 실행시켜고 또 한참을 대기합니다. 반면에 구글 같은 기업들은 TPU Pod 같은 고성능 머신을 동시에 여러개 운영하며 테스트합니다. 당연히 개발 속도에서 따라잡기가 불가능합니다. 앞으로 딥러닝 시대에는 글로벌 대기업과 나머지 업체들간의 차이가 점점 커질거라 생각합니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
Semantic Segmentation을 활용한 차량 파손 탐지 딥러닝 모델 개발기 깊은바다 2020-02-14 254
딥러닝으로 음성합성을 해주는 서비스 - 네이버 클로바더빙 file 깊은바다 2020-02-09 87
데이팅 앱 틴더(Tinder)에서 이미지 인식으로 자동화된 봇 만들기 깊은바다 2020-02-06 83
딥러닝 시대에 글로벌 대기업들을 따라잡을 수 있을까 깊은바다 2020-01-30 131
얀 르쿤이 만든 최초의 CNN 테스트 영상 깊은바다 2020-01-19 163
어떻게 해야 기계에게 글을 잘 읽고 말할 수 있게 할까? - 기계독해(MRC) 깊은바다 2020-01-14 124
딥페이크로 만든 실베스터 스탤론의 터미네이터2 깊은바다 2019-12-29 164
최신 딥러닝 모델들의 학습 비용 깊은바다 2019-12-12 296
딥러닝이 작동하는 원리는? 깊은바다 2019-11-17 313
GAN을 활용한 My handwriting styler 깊은바다 2019-10-20 324
가중치를 하나로 공유하고 모델의 구조만 찾는 WANN 깊은바다 2019-09-10 391
네이버의 손글씨 자동생성 인공지능 file 깊은바다 2019-09-08 763
R-CNN 에서 부터 Mask R-CNN 까지 깊은바다 2019-09-03 517
만화 캐릭터를 자동으로 생성하는 서비스 - Waifu file 깊은바다 2019-08-23 707
AutoML을 이용한 Architecture Search 소개 및 NASNet 논문 리뷰 깊은바다 2019-08-18 598