레플리
글 수 497

GPT3 모델을 훈련시키는데 드는 비용, 150억원

조회 수 26318 추천 수 0 2020.06.03 01:09:53


OpenAI booth at NeurIPS 2019 in Vancouver, Canada

 

https://venturebeat.com/2020/06/01/ai-machine-learning-openai-gpt-3-size-isnt-everything/

 

 

 

"At 175 billion parameters, where a parameter affects data’s prominence in an overall prediction, it’s the largest of its kind. And with a memory size exceeding 350GB, it’s one of the priciest, costing an estimated $12 million to train."

 

 

 

얼마 전 OpenAI가 언어 모델인 GPT3를 발표했다는 소식을 전했습니다. 이 기사를 보니 한 번 훈련을 시키는데 대략 1200만 달러가 들거라고 합니다. 우리 돈으로 150억 정도입니다. 이제는 국민 모델이 된 BERT의 경우 850만원의 비용이 소모됩니다. 거의 1700배나 차이가 납니다.

 

과연 GPT2처럼 사전훈련된 모델을 공개할까요. 150억 주고 만든 제품을 공짜로 나누어줄지 의문이 듭니다. 어쩌면 데이터처럼 모델을 사고파는 시대가 곧 오게 될지도 모르겠습니다.

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
시티은행, 지점 80% 폐쇄하고 온라인 거래에 집중 [2] 깊은바다 2017-04-14 60
인공지능으로 콜센터 직원 사라질까? 깊은바다 2019-04-02 70
가정용 로봇 시장 비상은 가능한가? 깊은바다 2019-06-04 74
요리 로봇, 셰프를 대체할 것인가? 깊은바다 2019-03-22 78
페이스북, 알렉사 대항마 만든다 깊은바다 2019-04-19 82
인지 과학자 AI 의식 열린 가능성 인정 깊은바다 2020-11-30 84
미국, 6명중 1명 인공지능 스피커 사용 [4] 깊은바다 2018-01-21 86
인공지능, 노동을 지배한다 깊은바다 2020-02-17 86
코로나로 부쩍 늘어난 식품점 로봇 깊은바다 2020-05-05 86
월마트,'로봇의 역습' 시작됐나? 깊은바다 2019-07-22 87
기사 로봇 '기자들은 편히 쉬세요' 깊은바다 2019-06-22 88
'AI가 인류 위협' vs '무책임한 주장', 날선 공방 벌인 머스크와 저커버그 [2] 깊은바다 2017-07-26 89
가정에 '소셜로봇'이 없다고? 깊은바다 2019-02-18 90
소셜로봇과의 대화가 갖는 의미 깊은바다 2020-01-25 90
인공지능 '왓슨', IBM에 10조원 벌어줬다 깊은바다 2017-04-17 92