레플리
글 수 203

최신 딥러닝 모델들의 학습 비용

조회 수 1259 추천 수 0 2019.12.12 21:23:49


https://syncedreview.com/2019/06/27/the-staggering-cost-of-training-sota-ai-models/

 

 

 

최근 SOTA(State-of-the-Art)를 찍은 모델들의 비용을 계산한 글입니다. 논문에서 공개한 리소스를 기반으로 클라우드에서 돌릴 경우를 가정했습니다. 이건 딱 한 번만 학습을 할 때의 비용입니다. 모델을 개발하기 위해서는 당연히 여러 번 돌려야 합니다. 아마 총 비용은 훨씬 높을 것 같습니다.

 

 

 

< XLNet >
TPU v3 512 * ($2 per hour) * 24 (hours) * 2.5 (days) = $61,440

 

< University of Washington’s Grover-Mega >
$0.30 per TPU v3 core-hour and two weeks = $25,000

 

< BERT Large >
TPU v2 16 (devices) * 4 (days) * 24 (hours) * 4.5 (US$ per hour) = $6,912

 

< BERT Base >
single preemptible Cloud TPU v2 * two weeks = $500

 

< GPT2 >
시간당 $256 (학습 기간 공개 안함)

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
OpenAI의 Sora로 만든 단편영화 file 깊은바다 2024-03-26 53
만약 ChatGPT가 영상으로 세상을 이해하게 된다면? file 깊은바다 2024-02-16 231
인도의 생성AI 영화 - Maharaja in Denims 깊은바다 2024-01-16 184
누구나 쉽게 AI 인플루언서를 만드는 시대 - Aitana Lopez file 깊은바다 2024-01-04 159
95생 천재 소녀가 만든 Pika가 빅테크들을 이길 수 있었던 이유 file [2] 깊은바다 2023-12-24 949
Text-to-Video 생성 서비스인 Pika, 5500만달러 투자 유치 file 깊은바다 2023-11-29 139
AI의 미래 - Coatue가 주목한 AI 산업 트렌드 깊은바다 2023-11-28 187
가구 카탈로그를 만들어주는 생성AI - 뚝딱 AI 스튜디오 file 깊은바다 2023-09-22 338
내가 원하는 사진을 만드는 생성AI SNS - 트윅(Tweak) file 깊은바다 2023-09-04 444
마우스로 끌어서 사진을 수정하는 딥러닝 - DragGAN 깊은바다 2023-05-21 430
생성 AI의 시대, 진짜 메타버스가 온다 깊은바다 2023-04-04 363
ChatGPT와 Stable Diffusion에 대한 정지훈 교수님 강의 깊은바다 2023-04-03 409
미드저니로 생성한 90년대 중국 사진들 - 콘텐츠 산업의 혁신 file 깊은바다 2023-03-30 734
어도비의 생성AI 프로그램 - Firefly 깊은바다 2023-03-23 339
초거대AI를 API로 썼을 때 경쟁업체와 차별화를 하려면 깊은바다 2023-03-20 289