뇌과학에서 오랫동안 논란이 되어왔던 개념으로 할머니 세포가 있습니다. 할머니의 기억이 담긴 뉴런을 찾는다는 소설에서 유래가 되었는데, 우리의 기억이 특정 세포 하나에 존재할지도 모른다는 주장입니다. 그러다 2005년 실제로 이런 뉴런을 발견합니다. 할리 배리를 보면 특정 뉴런이 활성화되고, 제니퍼 애니스톤을 보면 또 다른 뉴런이 활성화됩니다. 이때 사진만이 아니라 스케치 그림이나 '할리 베리'라고 쓰여진 글자를 봐도 마찬가지입니다. 이는 단순히 이미지가 아니라 개념 자체를 추상화한다고 볼 수 있습니다.
물론 뉴런 하나에 그런 정보가 모두 담겨있기는 불가능합니다. 대표적인 이미지 인식 모델인 CNN은 여러개의 층으로 구성되어 있습니다. 하위 층에서는 가로, 세로, 대각선 같은 단순한 패턴를 검출합니다. 상위층으로 올라갈수록 하위층의 패턴을 조합하여 복잡한 패턴을 인식합니다. 할리 배리 뉴런 역시 하위 뉴런들이 처리한 결과를 최종적으로 종합한 거라고 생각합니다.
http://aidev.co.kr/deeplearning/10254
얼마 전 OpenAI에서 발표한 CLIP을 소개한 적이 있습니다. 이 모델을 통해 딥러닝에서도 실제 뇌와 마찬가지로 할리 배리 뉴런이 있다는 것을 확인했다고 합니다. 스파이더맨의 사진이나 스케치, 글자 이미지를 봐도 동일한 뉴런 하나가 활성화됩니다.
이게 가능했던 이유는 CLIP의 학습방법 때문입니다. ImageNet에서는 정제된 사진만 포함되어 있습니다. 반면에 CLIP은 인터넷에서 사진과 그 설명 텍스트를 무작위로 수집했습니다. 예를 들어, 강아지라면 ImageNet에서는 강아지의 사진만 존재합니다. 하지만 CLIP은 강아지 사진, 강아지 스케치, 강아지 만화, 강아지라는 글자 등 모든 형태가 다 포함되어 있습니다. 그 사진에 대한 설명이 강아지이기만 하면 되니까요.
https://microscope.openai.com/.../image_block_4_5.../2364
OpenAI는 이런 각각의 뉴런을 시각화하기 위해 Microscope라는 도구를 제공하고 있습니다. 첫 번째 방법은 dataset examples입니다. 다양한 사진들을 입력으로 집어넣고 그 뉴런이 활성화되는지를 확인합니다. 두 번째는 feature visualizations입니다. 특정 뉴런이 최대로 활성화되도록 입력의 사진을 생성하는 방법입니다. 이 시각화 도구를 통해 지역, 사람, 감정, 종교 등 여러가지 개념들을 발견했습니다.
지금까지 딥러닝에서는 벡터를 통해 특정 개념을 표현했습니다. 워드임베딩에서는 사과라는 단어의 의미를 벡터로 나타냅니다. GAN에서는 얼굴 이미지가 하나의 벡터입니다. 여기에 안경 벡터를 더해주면 그 이미지에 자연스럽게 안경이 추가됩니다. 이제는 벡터가 아니라 뉴런 하나가 개념을 지닐 수 있다는 걸 알았습니다. 이를 활용하면 뭔가 새로운 돌파구가 생기지 않을까요. 최근 지식그래프와 같은 인과관계를 딥러닝에서 구현하려고 연구중입니다. 개념 뉴런을 조합하여 연결하면 신경망으로도 의미표현이나 추론이 가능할지도 모릅니다.
요즘은 딥마인드보다 OpenAI의 활약이 더 두드러지네요. 작년 GPT-3부터 올해 DALL-E와 CLIP까지 놀라운 모델들을 연이어 선보이고 있습니다. 앞으로 또 어떤 획기적인 발견을 보여줄지 기대가 됩니다.
< 블로그 >
https://openai.com/blog/multimodal-neurons/
< Distill >
https://distill.pub/2021/multimodal-neurons/
