글 수 341

GPT3 모델을 훈련시키는데 드는 비용, 150억원

조회 수 408 추천 수 0 2020.06.03 01:09:53


OpenAI booth at NeurIPS 2019 in Vancouver, Canada

 

https://venturebeat.com/2020/06/01/ai-machine-learning-openai-gpt-3-size-isnt-everything/

 

 

 

"At 175 billion parameters, where a parameter affects data’s prominence in an overall prediction, it’s the largest of its kind. And with a memory size exceeding 350GB, it’s one of the priciest, costing an estimated $12 million to train."

 

 

 

얼마 전 OpenAI가 언어 모델인 GPT3를 발표했다는 소식을 전했습니다. 이 기사를 보니 한 번 훈련을 시키는데 대략 1200만 달러가 들거라고 합니다. 우리 돈으로 150억 정도입니다. 이제는 국민 모델이 된 BERT의 경우 850만원의 비용이 소모됩니다. 거의 1700배나 차이가 납니다.

 

과연 GPT2처럼 사전훈련된 모델을 공개할까요. 150억 주고 만든 제품을 공짜로 나누어줄지 의문이 듭니다. 어쩌면 데이터처럼 모델을 사고파는 시대가 곧 오게 될지도 모르겠습니다.

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
사람을 애니메이션으로 바꿔주는 틱톡의 필터 file 깊은바다 2020-06-21 1104
사진 한 장으로 딥페이크를 만드는 아이폰 앱 - Zao file 깊은바다 2019-09-05 939
AI·로봇·자율주행차에 1조 쏟아부은 네이버 [2] 깊은바다 2017-04-05 915
직접 만드는 인공지능 스피커인 구글 보이스 키트 [2] 깊은바다 2017-07-05 428
쇼핑 비서 '챗봇' 써보니.. 롱패딩은 알아도 인조모피는 몰라 깊은바다 2018-01-08 409
GPT3 모델을 훈련시키는데 드는 비용, 150억원 깊은바다 2020-06-03 408
구글 홈페이지, 더이상 검색창 ‘달랑’ 아니다 - 구글 디스커버 깊은바다 2018-11-12 349
빵 스캔 후 계산 뚝딱...파리바게뜨, 인공지능 스캐너 PB-I 도입 깊은바다 2019-03-10 331
AI 스피커의 승자는 결국 '네이버와 카카오' 깊은바다 2018-04-11 323
'가장 높은 금리 적금 알려줘'...5개 은행 챗봇 답은? 깊은바다 2019-11-17 304
중국 교과서 인공지능실험교재 목차 번역 file 깊은바다 2019-08-21 286
바이두 AI 개발자 컨퍼런스, 바이두 자체 AI 기술 무료 개방 선언 [2] hmm 2017-08-10 283
카카오, 인공지능 투트랙 전략 짰다 깊은바다 2017-04-05 266
딥페이크의 시대, 인공지능 이용한 사기 어떻게 막나 깊은바다 2019-10-25 256
매력적인 챗봇 만드는 5가지 비책 깊은바다 2019-08-07 221