글 수 506
https://thenextweb.com/news/china-wu-dao-ai-10x-bigger-than-gpt-3
중국 정부의 지원을 받는 BAAI(Beijing Academy of Artificial Intelligence)에서 Wu Dao라는 새로운 초거대 모델을 공개했습니다. GPT-3의 10배인 1.75조개의 파라미터를 가지고 있습니다. 또한 얼마 전 발표한 구글의 MUM(Multitask Unified Model)처럼 텍스트, 이미지, 오디오 등 다양한 입력을 받을 수 있는 멀티모달 모델입니다.
이제 흐름이 또 한번 바뀌고 있는 것 같습니다. GPT-3가 텍스트만 처리할 수 있다면, 최근 초거대 모델은 모든 형태의 데이터를 동시에 받도록 진화하고 있습니다. 당연히 활용할 영역이 더 많아질 텐데요. 현재 Transformer는 자연어처리뿐만 아니라 이미지분류, 이미지생성, 오디오 등 거의 모든 딥러닝 분야에 사용이 가능합니다. 이를 하나로 통합한 구조도 이미 등장했습니다. 여기에 초거대 모델을 적용한다면 어떻게 될까요. 아무튼 딥러닝이 점점 범용적으로 발전하고 있는 중입니다.