글 수 203
https://syncedreview.com/2019/06/27/the-staggering-cost-of-training-sota-ai-models/
최근 SOTA(State-of-the-Art)를 찍은 모델들의 비용을 계산한 글입니다. 논문에서 공개한 리소스를 기반으로 클라우드에서 돌릴 경우를 가정했습니다. 이건 딱 한 번만 학습을 할 때의 비용입니다. 모델을 개발하기 위해서는 당연히 여러 번 돌려야 합니다. 아마 총 비용은 훨씬 높을 것 같습니다.
< XLNet >
TPU v3 512 * ($2 per hour) * 24 (hours) * 2.5 (days) = $61,440
< University of Washington’s Grover-Mega >
$0.30 per TPU v3 core-hour and two weeks = $25,000
< BERT Large >
TPU v2 16 (devices) * 4 (days) * 24 (hours) * 4.5 (US$ per hour) = $6,912
< BERT Base >
single preemptible Cloud TPU v2 * two weeks = $500
< GPT2 >
시간당 $256 (학습 기간 공개 안함)