레플리
글 수 497

GPT3 모델을 훈련시키는데 드는 비용, 150억원

조회 수 26316 추천 수 0 2020.06.03 01:09:53


OpenAI booth at NeurIPS 2019 in Vancouver, Canada

 

https://venturebeat.com/2020/06/01/ai-machine-learning-openai-gpt-3-size-isnt-everything/

 

 

 

"At 175 billion parameters, where a parameter affects data’s prominence in an overall prediction, it’s the largest of its kind. And with a memory size exceeding 350GB, it’s one of the priciest, costing an estimated $12 million to train."

 

 

 

얼마 전 OpenAI가 언어 모델인 GPT3를 발표했다는 소식을 전했습니다. 이 기사를 보니 한 번 훈련을 시키는데 대략 1200만 달러가 들거라고 합니다. 우리 돈으로 150억 정도입니다. 이제는 국민 모델이 된 BERT의 경우 850만원의 비용이 소모됩니다. 거의 1700배나 차이가 납니다.

 

과연 GPT2처럼 사전훈련된 모델을 공개할까요. 150억 주고 만든 제품을 공짜로 나누어줄지 의문이 듭니다. 어쩌면 데이터처럼 모델을 사고파는 시대가 곧 오게 될지도 모르겠습니다.

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
얀 르쿤, 편향 문제에 대한 비판으로 트위터 중단 선언 깊은바다 2020-07-01 9546
구글, 새 스마트 스피커 네스트 허브 출시 깊은바다 2020-06-30 20666
저화질을 고화질 사진으로 바꿔주는 PULSE, 인종차별 문제 깊은바다 2020-06-25 600
LGU+, 네이버와 탁상시계형 AI 스피커 출시 깊은바다 2020-06-24 167
페이스북의 딥페이크 탐지 챌린지 깊은바다 2020-06-23 169
사람을 애니메이션으로 바꿔주는 틱톡의 필터 file 깊은바다 2020-06-21 47084
구글 어시스턴트vs애플 시리, 더 똑똑한 AI는? 깊은바다 2020-06-17 186
AI에서 미국의 비밀무기는 중국의 인재 file 깊은바다 2020-06-10 1120
경험자들이 전하는 챗봇 성공의 근간 깊은바다 2020-06-10 1514
제주에서 '자율주행 쏘카' 움직이는 라이드플럭스 깊은바다 2020-06-09 171
자취 혼족, 똑똑한 집사 자처하는 'AI 스피커' 필요없다? 깊은바다 2020-06-07 56287
코로나19로 신병 대신 '로봇'...무인무기 개발 박차 깊은바다 2020-06-04 167
GPT3 모델을 훈련시키는데 드는 비용, 150억원 깊은바다 2020-06-03 26316
구직자 절반 인공지능에 밀릴까 '제2의 직업' 고민중 깊은바다 2020-06-01 171
인공지능·형님 리더십...엔씨소프트 두 가지 미래 키워드 깊은바다 2020-05-30 182