현재 딥러닝이 가장 어려워하는게 바로 상식에 대한 이해입니다. 사람들, 심지어 동물들도 상식을 가지고 이를 판단의 근거로 적용합니다. 초거대 모델인 GPT-3 역시 뚜렷한 한계를 가집니다. 가끔씩 다음과 같이 말이 안되는 문장을 생성하기도 합니다.

Human: How many eyes does a giraffe have?
GPT-3: A giraffe has two eyes.
Human: How many eyes does the sun have?
GPT-3: The sun has one eye.

사람이라면 당연히 이런 상식을 알고 있습니다. '태양은 생명체가 아니다', '생명체가 아니면 눈이 없다'. 이 두가지를 조합하여 태양은 눈이 없다는 사실을 추론합니다. 하지만 딥러닝을 논리적인 추론에 상당히 취약합니다.

인간의 뇌는 크게 뇌간, 변연계, 대뇌피질로 이루어져 있습니다. 각 부분은 동시에 만들어진 것이 아닙니다. 뇌간이 처음 생기고 그 위에 변연계가, 다시 대뇌피질이 덧붙여지면서 진화했습니다.

뇌간은 소위 파충류의 뇌라고 부릅니다. 감각기관으로 환경을 인지하고, 운동기관으로 몸을 움직입니다. 또한 먹이를 먹거나 잠을 자는 등 본능적인 행동을 수행하는 부분입니다.

변연계는 포유류의 뇌라 볼 수 있습니다. 크게 편도체와 해마로 이루어져 있습니다. 편도체는 기쁨, 슬픔, 공포 같은 감정을 다룹니다. 해마는 기억을 관장합니다. 보통 파충류는 학습 능력이 거의 없습니다. 기억을 하지 못하기 때문에 본능에 따라서만 행동합니다. 반면에 포유류는 기억과 감정을 조합하여 학습이 가능합니다. 맛있는 음식을 먹으면 행복해지고 무서운 적을 만나면 공포를 느낍니다. 이런 감정을 일반화하여 기억에 저장합니다. 그래서 다음번에 맛있는 음식과 무서운 적을 만나면(비슷한 대상에 대해서도) 그 감정이 떠오르며 행동에 영향을 줍니다. 어쩌면 감정이란 이렇게 직관적으로 학습하기 위해 생겨난 것일지도 모릅니다.

대뇌피질은 주로 추론이나 지각, 언어 등을 담당하는 뇌의 영역입니다. 포유류도 물론 대뇌피질이 있습니다. 그러나 지구의 모든 생명체 중에서 인간이 가장 발달해있습니다. 변연계의 감정과 기억은 빠른 판단이 가능합니다. 하지만 단순하고 일차원적이라는 단점이 있습니다. 반대로 대뇌피질은 복잡한 추론이나 계획이 가능해서 생존에 더욱 유리합니다. 사람 역시 이 두가지 학습 방법을 모두 사용합니다. 처음에는 감정으로 빠르게 대상을 인식하고, 그 다음 시간을 들여서 곰곰히 따져봅니다.

지금 딥러닝은 뇌간, 변연계, 대뇌피질 중 어디에 속해있는 것일까요. 아마 뇌간과 변연계 사이가 아닐까 합니다. 인공지능은 아직 감정을 이해하지 못합니다. 또한 한 번에 학습을 끝낼 뿐, 사람처럼 경험을 통해 계속적으로 기억하지도 못합니다. 그러니 추론을 어려워하는게 당연합니다. 아직 딥러닝이 그 단계까지 발전하지 못했기 때문입니다.

딥러닝의 구루 중 한 명인 요수아 벤지오는 최근 시스템2란 개념을 강조하고 있습니다. 지금까지의 딥러닝은 단순한 인식만 가능한 시스템1이었습니다. 앞으로는 인과관계나 추론 같은 고차원적인 지능, 즉 시스템2로 나아가야 된다고 말합니다.

제프리 힌튼은 2012년 이미지 인식 대회에서 처음 딥러닝을 선보였습니다. 그후 딥러닝의 아버지라 불리며 역사에 이름을 남겼습니다. 시스템2를 최초로 구현한 사람 역시 그에 못지 않은 명예를 얻을 거라 생각됩니다.