https://latte4me.com/676-2/
GPT-4의 세부구조에 대한 루머가 또 유출되었습니다. 확실하지는 않지만 어느정도 신빙성이 있어 보입니다.
-
파라미터수 1.7조~2조개로 GPT-3(1,750억개)의 10배
-
16개의 MOE(Mixture of Experts) 사용. 각 MOE 당 1,000억개의 파라미터 보유. MOE는 전문분야에 최적화된 모델을 여러개 만들고 질문이 들어오면 해당하는 모델을 사용하는 방식.
-
25,000개의 A100을 사용해서 100일 동안 학습. 총 8천억원 소요로 GPT-3 학습비용의 3배.