OpenAI에서 발표한 CLIP을 한글로 구현한 KoCLIP을 소개해드립니다. 보통 이미지 분류는 사진을 각 클래스로 예측합니다. 예를 들어, 10개의 클래스라면 0은 강아지, 1은 고양이, 이런 식으로 구분합니다.

반면에 CLIP은 사진과 그 사진의 캡션문장을 학습 데이터로 사용합니다. 고양이 사진을 벡터로 변환하고, '이것은 고양이에요'라는 문장을 다른 벡터로 변환합니다. 그리고 두 벡터가 유사해지도록 학습을 수행합니다.

특이한 점은 클래스 개수가 미리 정해지지 않았다는 것입니다. 예측할 때 원하는 만큼 클래스의 문장을 만들면 됩니다. 사진을 보면 '이것은 고양이', '이것은 강아지', '이것은 햄스터'라고 문장을 직접 입력합니다. 그러면 입력 사진의 벡터와 각 클래스 문장의 벡터를 비교하여 가장 유사한 클래스를 선택합니다.

꼭 분류에만 CLIP을 사용하진 않습니다. 문장으로 사진을 검색할수도 있습니다. 미리 모든 사진을 벡터로 변환해 놓고, 검색 문장의 벡터와 가장 비슷한 사진 벡터를 찾으면 됩니다. '바다에 떠있는 배'라고 입력하면 그와 유사한 형태의 사진을 보여줍니다.

현재 OpenAI가 공개한 CLIP의 모델 파라미터는 BERT base와 비슷한 약 150M입니다. 만약 거대모델 크기로 CLIP을 만든다면 어느 정도의 성능이 나올까요. GPT-3처럼 이미지 분류도 곧 제로샷으로 하는 날이 올지도 모르겠네요.

< KoCLIP 데모 >

https://huggingface.co/spaces/flax-community/koclip

< CLIP 설명 >

http://aidev.co.kr/deeplearning/10254