http://www.aitimes.com/news/articleView.html?idxno=135460

문장을 이미지로 변환하는 딥러닝은 예전부터 계속 연구되어 왔던 분야입니다. 대표적으로 StackGAN(http://aidev.co.kr/chatbotdeeplearning/5894)을 들 수 있습니다. 작년 9월에 앨런 AI연구소에서 발표한 X-LXMERT(https://prior.allenai.org/projects/x-lxmert)가 가장 뛰어난 성능을 보였습니다. 하지만 아직 사진의 품질이 매우 떨어지는 편이었습니다.

얼마 전 OpenAI가 공개한 DALL-E는 오직 트랜스포머 구조만 사용한 모델입니다. GPT-3를 약간 수정했는데요. GPT-3는 문장을 넣으면 문장이 나오지만, DALL-E는 사진이 출력되도록 훈련했습니다. 보시는 바와 같이 놀랄 만한 수준의 이미지들을 생성하고 있습니다. 훈련한 데이터에 없을 것 같은 특이한 문장도 상당히 정확하게 사진으로 만들어 냅니다. 예를 들어, 'OpenAI가 적힌 간판'은 실제로는 없는 데이터입니다. 하지만 그 뜻을 이해하여 기존 간판의 이미지와 OpenAI라는 이미지를 조합하여 하나의 사진으로 합성합니다.

지금까지 딥러닝 모델들은 그 용도에 따라 각각 다른 구조를 가지고 있었습니다. 이미지 인식은 CNN, 이미지 생성은 GAN, 자연어처리는 LSTM이 대표적입니다. 트랜스포머는 처음 자연어처리에서 시작되었지만 지금은 이미지 인식에도 CNN을 능가할 정도입니다. 이젠 이미지 생성도 GAN을 대체하고 있습니다. 앞으로 정말 트랜스포머가 딥러닝을 통일하는 날이 오게 될까요.