글 수 497
https://venturebeat.com/2021/01/12/google-trained-a-trillion-parameter-ai-language-model/amp
구글이 Switch Transformer라는 새로운 모델을 발표했습니다. GPT-3의 파라미터는 1750억개입니다. 이 모델은 그 10배인 1.6조개의 파라미터로 구성되어 있습니다.
사람의 뉴런이 1000억개입니다. 뉴런과 뉴런을 연결하는 것은 시냅스로 모델의 파라미터와 같은 역할을 합니다. 실제 학습을 통해 배운 지능은 바로 이 시냅스에 존재합니다. 시냅스는 대략 100조개로 알려져 있습니다.
이제 딥러닝이 우리 뇌의 1/100정도까지 규모가 커졌습니다. 과연 사람과 동일한 크기가 된다면 인간과 비슷한 지능을 가지게 될까요.