글 수 97

최신 딥러닝 모델들의 학습 비용

조회 수 225 추천 수 0 2019.12.12 21:23:49


https://syncedreview.com/2019/06/27/the-staggering-cost-of-training-sota-ai-models/

 

 

 

최근 SOTA(State-of-the-Art)를 찍은 모델들의 비용을 계산한 글입니다. 논문에서 공개한 리소스를 기반으로 클라우드에서 돌릴 경우를 가정했습니다. 이건 딱 한 번만 학습을 할 때의 비용입니다. 모델을 개발하기 위해서는 당연히 여러 번 돌려야 합니다. 아마 총 비용은 훨씬 높을 것 같습니다.

 

 

 

< XLNet >
TPU v3 512 * ($2 per hour) * 24 (hours) * 2.5 (days) = $61,440

 

< University of Washington’s Grover-Mega >
$0.30 per TPU v3 core-hour and two weeks = $25,000

 

< BERT Large >
TPU v2 16 (devices) * 4 (days) * 24 (hours) * 4.5 (US$ per hour) = $6,912

 

< BERT Base >
single preemptible Cloud TPU v2 * two weeks = $500

 

< GPT2 >
시간당 $256 (학습 기간 공개 안함)

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
얀 르쿤이 만든 최초의 CNN 테스트 영상 깊은바다 2020-01-19 7
어떻게 해야 기계에게 글을 잘 읽고 말할 수 있게 할까? - 기계독해(MRC) 깊은바다 2020-01-14 53
딥페이크로 만든 실베스터 스탤론의 터미네이터2 깊은바다 2019-12-29 107
최신 딥러닝 모델들의 학습 비용 깊은바다 2019-12-12 225
딥러닝이 작동하는 원리는? 깊은바다 2019-11-17 263
GAN을 활용한 My handwriting styler 깊은바다 2019-10-20 290
가중치를 하나로 공유하고 모델의 구조만 찾는 WANN 깊은바다 2019-09-10 360
네이버의 손글씨 자동생성 인공지능 file 깊은바다 2019-09-08 651
R-CNN 에서 부터 Mask R-CNN 까지 깊은바다 2019-09-03 457
만화 캐릭터를 자동으로 생성하는 서비스 - Waifu file 깊은바다 2019-08-23 606
AutoML을 이용한 Architecture Search 소개 및 NASNet 논문 리뷰 깊은바다 2019-08-18 514
얀 르쿤의 자기지도학습 강의 - The Power and Limits Of Deep Learning file 깊은바다 2019-07-13 617
딥러닝의 기본 깊은바다 2019-07-12 419
셀프 어텐션만으로 이미지를 인식하는 딥러닝 모델 file 깊은바다 2019-06-26 634
Selfie, 비지도학습 이미지 사전훈련 모델 file 깊은바다 2019-06-15 1154