글 수 101

최신 딥러닝 모델들의 학습 비용

조회 수 296 추천 수 0 2019.12.12 21:23:49


https://syncedreview.com/2019/06/27/the-staggering-cost-of-training-sota-ai-models/

 

 

 

최근 SOTA(State-of-the-Art)를 찍은 모델들의 비용을 계산한 글입니다. 논문에서 공개한 리소스를 기반으로 클라우드에서 돌릴 경우를 가정했습니다. 이건 딱 한 번만 학습을 할 때의 비용입니다. 모델을 개발하기 위해서는 당연히 여러 번 돌려야 합니다. 아마 총 비용은 훨씬 높을 것 같습니다.

 

 

 

< XLNet >
TPU v3 512 * ($2 per hour) * 24 (hours) * 2.5 (days) = $61,440

 

< University of Washington’s Grover-Mega >
$0.30 per TPU v3 core-hour and two weeks = $25,000

 

< BERT Large >
TPU v2 16 (devices) * 4 (days) * 24 (hours) * 4.5 (US$ per hour) = $6,912

 

< BERT Base >
single preemptible Cloud TPU v2 * two weeks = $500

 

< GPT2 >
시간당 $256 (학습 기간 공개 안함)

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
Semantic Segmentation을 활용한 차량 파손 탐지 딥러닝 모델 개발기 깊은바다 2020-02-14 254
딥러닝으로 음성합성을 해주는 서비스 - 네이버 클로바더빙 file 깊은바다 2020-02-09 87
데이팅 앱 틴더(Tinder)에서 이미지 인식으로 자동화된 봇 만들기 깊은바다 2020-02-06 83
딥러닝 시대에 글로벌 대기업들을 따라잡을 수 있을까 깊은바다 2020-01-30 131
얀 르쿤이 만든 최초의 CNN 테스트 영상 깊은바다 2020-01-19 163
어떻게 해야 기계에게 글을 잘 읽고 말할 수 있게 할까? - 기계독해(MRC) 깊은바다 2020-01-14 124
딥페이크로 만든 실베스터 스탤론의 터미네이터2 깊은바다 2019-12-29 164
최신 딥러닝 모델들의 학습 비용 깊은바다 2019-12-12 296
딥러닝이 작동하는 원리는? 깊은바다 2019-11-17 313
GAN을 활용한 My handwriting styler 깊은바다 2019-10-20 324
가중치를 하나로 공유하고 모델의 구조만 찾는 WANN 깊은바다 2019-09-10 391
네이버의 손글씨 자동생성 인공지능 file 깊은바다 2019-09-08 763
R-CNN 에서 부터 Mask R-CNN 까지 깊은바다 2019-09-03 517
만화 캐릭터를 자동으로 생성하는 서비스 - Waifu file 깊은바다 2019-08-23 707
AutoML을 이용한 Architecture Search 소개 및 NASNet 논문 리뷰 깊은바다 2019-08-18 598