레플리
글 수 203


 

https://ai.googleblog.com/2019/08/exploring-weight-agnostic-neural.html

 

 

 

또 구글이 혁신적인 딥러닝 기법을 공개했습니다. WANN(Weight Agnostic Neural Networks)이란 이름처럼 신경망의 가중치를 학습하지 않습니다. 하나의 가중치를 모든 노드에서 공유하여 사용합니다. 대신 모델의 구조 자체를 조금씩 변경하며 평가한 후 개선해 나갑니다.

 

인간의 뉴런도 시냅스의 가중치만이 전부가 아닙니다. 뉴런간의 시냅스 연결 역시 학습을 통해 지속적으로 삭제 또는 생성됩니다. 가중치와 구조 모두 지능이라 할 수 있습니다.

 

최근 많은 인기를 끌고 있는 AutoML은 치명적인 단점이 하나 있습니다. 모델의 구조를 변경한 다음 끝까지 학습을 하기 때문에 시간이 엄청나게 걸립니다. 만약 WANN 같은 기술을 적용한다면 그 속도를 획기적으로 높일 수도 있습니다. 아키텍처 후보들의 가중치를 각각 학습할 필요가 없습니다. 데이터셋에 최적인 구조만 찾는다면, 그 후 가중치를 학습한 것 역시 가장 뛰어난 모델일지도 모릅니다. 앞으로 NAS(Neural Architecture Search)에 큰 변화가 올 것 같습니다.

엮인글 :
List of Articles
제목 글쓴이 날짜sort 조회 수
인공지능 과학자의 꿈, 범용 AI는 가능할까 깊은바다 2021-10-15 865
딥러닝 범용 모델 - Foundation Models 깊은바다 2021-09-06 1317
소프트웨어 개발 경험이 먼저다 - 딥러닝 역시 S/W 기술의 하나일 뿐 깊은바다 2021-07-14 913
제프리 힌튼, 얀 르쿤, 요슈아 벤지오가 말하는 딥러닝의 미래 깊은바다 2021-07-08 871
OpenAI의 CLIP을 사용해서 자연어로 유튜브 영상 검색 깊은바다 2021-07-05 1068
스케치를 사진으로 바꾸어주는 프로그램 - NVIDIA CANVAS 깊은바다 2021-06-25 636
한 단어만으로 텍스트 스타일을 바꿔주는 딥러닝 모델 - TextStyleBrush 깊은바다 2021-06-24 647
GameGAN으로 직접 화면을 생성하는 GTA5 게임 깊은바다 2021-06-20 632
Transformer와 동급의 성능에 속도는 훨씬 빨라진 MLP-Mixer file 깊은바다 2021-06-11 1413
GAN으로 얼굴사진을 생성하는 사이트 - Face Generator file 깊은바다 2021-04-28 2766
말로 설명하여 이미지를 변형하는 GAN - StyleCLIP file 깊은바다 2021-04-04 1803
GPT-3로 광고문구를 만드는 서비스 - Copy.ai 깊은바다 2021-03-22 645
딥러닝의 창시자인 제프리 힌튼이 구글에 합류하게 된 스토리 깊은바다 2021-03-18 415
뉴런 하나로 특정 개념을 표현한다, CLIP 모델에서 개념 뉴런을 발견 file 깊은바다 2021-03-12 568
스냅챕의 디즈니 필터 깊은바다 2021-03-12 528