레플리
글 수 203


K-001.png

 

http://aidev.co.kr/chatbotdeeplearning/8881

 

 

 

며칠 전 구글에서 Meena라는 일상대화 모델을 공개했습니다. 파라미터나 데이터셋의 크기가 기존 모델들보다 압도적으로 많습니다. TPU-v3 2048 코어로 한 달이나 돌렸는데요. 구글 클라우드로 대충 13억 정도입니다. 개발을 위해서 여러 번 학습한다는 것을 감안하면 총 비용은 훨씬 올라갑니다.

 

최근 IT 기술이 딥러닝으로 이동하는 추세입니다. 몇 년전에는 딥러닝 모델을 만들때 컴퓨터 한 대로 하루 이틀 학습하면 충분했었는데요. 이제는 작은 스타트업이 감당하기 점점 어려워지고 있습니다. 아무리 개인 역량이 뛰어나다고 해도 충분한 자원이 없으면 경쟁에 불리합니다.

 

소규모 업체는 보통 GPU 달린 컴퓨터에 모델을 돌려놓고 다음 날 확인을 합니다. 결과를 보고 조금 수정하고 실행시켜고 또 한참을 대기합니다. 반면에 구글 같은 기업들은 TPU Pod 같은 고성능 머신을 동시에 여러개 운영하며 테스트합니다. 당연히 개발 속도에서 따라잡기가 불가능합니다. 앞으로 딥러닝 시대에는 글로벌 대기업과 나머지 업체들간의 차이가 점점 커질거라 생각합니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
딥러닝 시대에 글로벌 대기업들을 따라잡을 수 있을까 깊은바다 2020-01-30 370
얀 르쿤이 만든 최초의 CNN 테스트 영상 깊은바다 2020-01-19 2216
어떻게 해야 기계에게 글을 잘 읽고 말할 수 있게 할까? - 기계독해(MRC) 깊은바다 2020-01-14 836
딥페이크로 만든 실베스터 스탤론의 터미네이터2 깊은바다 2019-12-29 576
최신 딥러닝 모델들의 학습 비용 깊은바다 2019-12-12 1259
딥러닝이 작동하는 원리는? 깊은바다 2019-11-17 768
GAN을 활용한 My handwriting styler 깊은바다 2019-10-20 909
가중치를 하나로 공유하고 모델의 구조만 찾는 WANN 깊은바다 2019-09-10 912
네이버의 손글씨 자동생성 인공지능 file 깊은바다 2019-09-08 7124
R-CNN 에서 부터 Mask R-CNN 까지 깊은바다 2019-09-03 1405
만화 캐릭터를 자동으로 생성하는 서비스 - Waifu file 깊은바다 2019-08-23 20310
AutoML을 이용한 Architecture Search 소개 및 NASNet 논문 리뷰 깊은바다 2019-08-18 1204
얀 르쿤의 자기지도학습 강의 - The Power and Limits Of Deep Learning file 깊은바다 2019-07-13 1896
딥러닝의 기본 깊은바다 2019-07-12 935
셀프 어텐션만으로 이미지를 인식하는 딥러닝 모델 file 깊은바다 2019-06-26 1864