글 수 172


중국 칭화대에서 BaGuaLu(연금술사의 항아리란 뜻의 중국어)라는 슈퍼컴퓨터 기반 딥러닝 모델을 개발했습니다. 174조의 파라미터 사이즈를 가지고 있습니다. 1750억개인 GPT-3의 1000배, 1.6조개인 Switch Transformer의 100배가 넘는 크기입니다.

 

1655971071651.jpg

 

 

 

인간의 뇌는 뉴런으로 이루어져 있습니다. 뉴런은 여러 가지돌기에서 입력을 받아 그 합이 일정 수치가 넘으면 축삭돌기로 전달합니다. 이는 전기신호입니다. 다른 뉴런의 가지돌기로 다시 신호를 보내야 하는데 이를 시냅스가 담당합니다. 세르토닌, 도파민, 아세틸콜린 같은 신경전달물질을 통해 화학적 방법으로 정보를 전달합니다. 이때 시냅스가 신호를 증폭하거나 감소시키는데 바로 이곳이 학습이 일어나는 곳입니다.

 

00503285_20160809.jpg

 

 

 

딥러닝 모델의 파라미터가 바로 뉴런의 시냅스와 같은 역할을 합니다. 인간의 뉴런은 1000억개 정도이며, 시냅스는 100조개 이상입니다. BaGuaLu는 최초로 인간 수준의 크기를 가진 인공지능입니다. 논문을 보니 Transformer 구조를 사용한 것 같습니다. 그런데 다른 모델과의 벤치마크 비교가 없어서 정확하게 그 성능을 알 수가 없습니다. 과연 어떤 수준의 인공지능인지 궁금합니다.

1655971071647.jpg

 

 

 

< 논문 >

https://keg.cs.tsinghua.edu.cn/.../PPOPP22-Ma%20et%20al...

 

< 기사 >

https://sports.yahoo.com/china-achieves-brain-scale-ai...

 

List of Articles
제목 글쓴이 날짜 조회 수
최초로 인간 수준의 크기를 가진 중국의 딥러닝 모델 - BaGuaLu file 깊은바다 2022-06-23 181
미국에서 Dalle Mini로 짤(Meme)을 만드는게 유행 file 깊은바다 2022-06-19 271
말로 영상을 생성하는 딥러닝 모델 - CogVideo file 깊은바다 2022-05-30 541
DALL.E를 직접 테스트해볼 수 있는 사이트 - DALL.E mini file 깊은바다 2022-05-17 3122
전문가 수준의 사진을 생성하는 NVIDIA의 PoE-GAN 깊은바다 2022-02-16 924
Yolov5 디바이스 사양 추천 부탁드립니다. rhee 2022-02-14 678
메타AI의 멀티모달 자기지도학습 모델인 Data2vec 깊은바다 2022-01-26 738
GAN으로 사진에서 특정 부분을 지워주는 서비스 - Cleanup.pictures file 깊은바다 2022-01-17 620
3D 이미지를 만드는 GAN - StyleNeRF 깊은바다 2021-12-20 447
CLIP을 사용하여 말로 그림을 그려주는 스마트폰 앱 - WOMBO Dream file 깊은바다 2021-11-25 1303
내가 말하는 걸 보여줘, DALL-E 깊은바다 2021-11-11 904
텍스트를 이미지로 생성해주는 사이트 - Text2Art (VQGAN-CLIP) file 깊은바다 2021-11-10 3335
원티드는 어떻게 AI로 채용 결과를 예측하고 매칭할까 깊은바다 2021-11-09 800
OpenAI의 CLIP을 한글로 구현한 KoCLIP file 깊은바다 2021-11-02 1409
인공지능 과학자의 꿈, 범용 AI는 가능할까 깊은바다 2021-10-15 760