글 수 157


Pioneers of deep learning think its future is gonna be lit

 

https://thenextweb.com/news/pioneers-deep-learning-future-lit-syndication

 

 

 

제프리 힌튼, 얀 르쿤, 요수아 벤지오는 딥러닝을 개척한 공로로 2018년 튜링상을 받았습니다. 얼마 전 이 세 분이 공동으로 'Deep Learning for AI'라는 논문을 발표했습니다. 딥러닝의 발전과정을 간단히 정리하고, 앞으로 어떤 방향으로 연구가 필요한지 밝히고 있습니다.

 

지금까지는 지도학습이 큰 성과를 냈지만 한계가 있습니다. 정답 라벨을 작성하는데 사람의 노력이 너무 들기 때문입니다. 강화학습도 좋은 대안입니다. 그러나 학습에 필요한 계산시간이 너무 방대하다는 문제가 있습니다.

 

가장 좋은 방법으로 자기지도학습(self-supervised learning)을 들고 있습니다. 이미 BERT, GPT 같은 사전훈련 모델들이 사용하고 있습니다. 지도학습처럼 라벨이 있지만, 그 라벨을 사람이 아니라 기계가 자동으로 작성합니다.

 

또한 게리 마커스가 주장하는 하이브리드 방식에는 선을 긋고 있습니다. 굳이 기호주의 AI와 결합할 필요가 없습니다. 오히려 사람의 설계가 들어가면 딥러닝의 확장성과 범용성이 제한되어 버립니다.

 

물론 지금의 딥러닝은 기호처리, 추론, 다단계 계획, 인과관계 등을 잘 수행하지 못합니다. 하지만 신경망 구조를 발전시키다보면 결국 이런 문제점들이 해결될 것입니다. 이를 위해서는 System 2 deep learning이 필요하다고 말합니다.

 

 

 

< 논문 >

https://cacm.acm.org/.../253464-deep-learning.../fulltext

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
딥러닝 범용 모델 - Foundation Models 깊은바다 2021-09-06 622
소프트웨어 개발 경험이 먼저다 - 딥러닝 역시 S/W 기술의 하나일 뿐 깊은바다 2021-07-14 651
제프리 힌튼, 얀 르쿤, 요슈아 벤지오가 말하는 딥러닝의 미래 깊은바다 2021-07-08 556
OpenAI의 CLIP을 사용해서 자연어로 유튜브 영상 검색 깊은바다 2021-07-05 442
스케치를 사진으로 바꾸어주는 프로그램 - NVIDIA CANVAS 깊은바다 2021-06-25 361
한 단어만으로 텍스트 스타일을 바꿔주는 딥러닝 모델 - TextStyleBrush 깊은바다 2021-06-24 230
GameGAN으로 직접 화면을 생성하는 GTA5 게임 깊은바다 2021-06-20 199
Transformer와 동급의 성능에 속도는 훨씬 빨라진 MLP-Mixer file 깊은바다 2021-06-11 281
GAN으로 얼굴사진을 생성하는 사이트 - Face Generator file 깊은바다 2021-04-28 407
말로 설명하여 이미지를 변형하는 GAN - StyleCLIP file 깊은바다 2021-04-04 768
GPT-3로 광고문구를 만드는 서비스 - Copy.ai 깊은바다 2021-03-22 338
딥러닝의 창시자인 제프리 힌튼이 구글에 합류하게 된 스토리 깊은바다 2021-03-18 217
뉴런 하나로 특정 개념을 표현한다, CLIP 모델에서 개념 뉴런을 발견 file 깊은바다 2021-03-12 282
스냅챕의 디즈니 필터 깊은바다 2021-03-12 260
이젠 모델 구축도 학습도 필요없다, OpenAI의 이미지인식 모델 CLIP file 깊은바다 2021-03-07 1086