글 수 497
https://venturebeat.com/2020/06/01/ai-machine-learning-openai-gpt-3-size-isnt-everything/
"At 175 billion parameters, where a parameter affects data’s prominence in an overall prediction, it’s the largest of its kind. And with a memory size exceeding 350GB, it’s one of the priciest, costing an estimated $12 million to train."
얼마 전 OpenAI가 언어 모델인 GPT3를 발표했다는 소식을 전했습니다. 이 기사를 보니 한 번 훈련을 시키는데 대략 1200만 달러가 들거라고 합니다. 우리 돈으로 150억 정도입니다. 이제는 국민 모델이 된 BERT의 경우 850만원의 비용이 소모됩니다. 거의 1700배나 차이가 납니다.
과연 GPT2처럼 사전훈련된 모델을 공개할까요. 150억 주고 만든 제품을 공짜로 나누어줄지 의문이 듭니다. 어쩌면 데이터처럼 모델을 사고파는 시대가 곧 오게 될지도 모르겠습니다.