레플리
글 수 497

GPT3 모델을 훈련시키는데 드는 비용, 150억원

조회 수 26318 추천 수 0 2020.06.03 01:09:53


OpenAI booth at NeurIPS 2019 in Vancouver, Canada

 

https://venturebeat.com/2020/06/01/ai-machine-learning-openai-gpt-3-size-isnt-everything/

 

 

 

"At 175 billion parameters, where a parameter affects data’s prominence in an overall prediction, it’s the largest of its kind. And with a memory size exceeding 350GB, it’s one of the priciest, costing an estimated $12 million to train."

 

 

 

얼마 전 OpenAI가 언어 모델인 GPT3를 발표했다는 소식을 전했습니다. 이 기사를 보니 한 번 훈련을 시키는데 대략 1200만 달러가 들거라고 합니다. 우리 돈으로 150억 정도입니다. 이제는 국민 모델이 된 BERT의 경우 850만원의 비용이 소모됩니다. 거의 1700배나 차이가 납니다.

 

과연 GPT2처럼 사전훈련된 모델을 공개할까요. 150억 주고 만든 제품을 공짜로 나누어줄지 의문이 듭니다. 어쩌면 데이터처럼 모델을 사고파는 시대가 곧 오게 될지도 모르겠습니다.

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
GTA5로 자율주행차 테스트 깊은바다 2017-04-23 63115
코로나 바이러스로 정신상담 챗봇 인기 깊은바다 2020-03-24 60071
자취 혼족, 똑똑한 집사 자처하는 'AI 스피커' 필요없다? 깊은바다 2020-06-07 56287
사람을 애니메이션으로 바꿔주는 틱톡의 필터 file 깊은바다 2020-06-21 47090
실제 뉴스 앵커처럼 말을 하는 알렉사의 새로운 기능 깊은바다 2019-01-19 37330
로봇, '라스트 마일'을 책임진다 깊은바다 2020-03-29 36597
인공지능이 옷을 추천하여 보내주는 쇼핑몰인 스티치 픽스 깊은바다 2017-11-05 31399
시리의 아버지 아담 체이어, 삼성을 떠나다 깊은바다 2020-08-01 29935
2019년 인공지능 스피커 전세계 출하량 깊은바다 2019-05-23 29219
또다른 행원 '챗봇', 어디가 더 똑똑할까 깊은바다 2020-09-10 27765
GPT3 모델을 훈련시키는데 드는 비용, 150억원 깊은바다 2020-06-03 26318
성균관대의 실험··· 신입생 전공 상관없이 AI 교육 [1] 깊은바다 2019-11-17 25810
국내 대기업들의 인공지능 선언 깊은바다 2020-01-05 24831
MS의 일상대화 챗봇 Xiaoice, 독립된 회사 설립 깊은바다 2020-07-15 24159
AI 개발, 전사 확대...'AI 투게더' 외치는 NHN 깊은바다 2020-12-22 23399