http://www.aitimes.com/news/articleView.html?idxno=133488

"힌튼 교수는 '돌파구를 찾는다면 딥러닝으로 인간 지능을 모두 구현할 수 있는가'라는 질문에 "인간의 이성과 같은 것을 구현하기 위해 신경활동의 큰 벡터를 얻는 것과 같은 돌파구를 찾는다면 가능하다"고 답했다.

현존하는 가장 큰 언어 모델인 오픈AI의 GPT-3는 1750억개 매개변수를 가지고 있지만, 여전히 인간의 뇌가 가진 100조개 매개 변수보다 1000배는 작은 수치임으로 이를 더 큰 규모로 발전시켜야 한다는 것. 힌튼 교수에 따르면 더 큰 규모란 신경망 층의 증가와 더 많은 데이터 확보를 뜻한다."

딥러닝의 대부인 제프리 힌튼과의 인터뷰 내용입니다. 딥러닝으로 인간 지능을 그대로 구현할 수 있다고 자신있게 대답하고 있습니다. 무엇보다 모델의 크기를 인간 수준으로 높이는 것이 첫 번째 과제입니다. 다만 GPT-3가 사용하는 트랜스포머의 self-attention 구조만 가지고는 힘들 것 같습니다. 힌튼의 말처럼 좀 더 많은 돌파구가 필요하다고 봅니다.

또한 지금처럼 폰 노이만 방식의 하드웨어로는 규모를 더 키우기가 어려울 수 있습니다. GPU를 쓰더라도 신경망을 시뮬레이션하는 수준이기 때문입니다. 인간의 뇌와 비슷한 구조를 가지는 뉴로모픽 칩이 새로운 대안으로 떠오르고 있습니다.

< 인터뷰 원문 >
- https://www.technologyreview.com/…/ai-godfather-geoffrey-h…/