레플리
글 수 203


VAE와 GAN은 대표적인 이미지 생성모델입니다. 둘 다 기본적인 원리는 비슷합니다. 잠재벡터 z를 사진으로 생성하는게 목표입니다. 이론적으로 z는 모든 이미지를 표현할 수 있습니다. 하지만 학습 데이터에서는 극히 일부분의 z만 커버합니다. 예를 들어, 학습으로 1%의 z를 배웠다고 가정해보겠습니다. 딥러닝의 일반화를 통해 나머지 99%의 z도 사진으로 변환이 가능합니다.

 

자연어처리에서 워드임베딩은 단어를 벡터로 표현합니다. 그리고 '왕-남자+여자=여왕'처럼 벡터연산으로 새로운 단어를 유추할 수 있습니다. 생성모델 역시 비슷합니다. z만 조작하면 사진이 원하는대로 변형됩니다.

 

king-analogy-viz.png

 

원본사진 z에 안경벡터를 추가하여 모델에 넣으면 안경을 쓴 사진이 나옵니다. 이런 방법을 사용하면 딥페이크, 사진편집, 가상모델 등 다양한 곳에 응용할 수 있습니다.

 

K-001.jpg

 

K-003.jpg

 

 

 

문제는 특징벡터를 어떻게 추출하는가 입니다. 그중 하나의 방법은 사람이 단 라벨값을 이용하는 것입니다. 모든 사진 데이터에 각 특징이 존재하는지 태그를 붙입니다. 이 사람이 안경을 썼으면 1, 아니면 -1, 이런 식으로 특징값들을 지정합니다.

 

K-004.png

 

그다음 특징 라벨이 존재하는 POS와 존재하지 않는 NEG로 사진을 분리합니다. POS와 NEG 사진들의 z를 각각 평균을 내고, POS에서 NEG를 뺍니다. 그러면 그 특징의 벡터만 남게 됩니다. 만약 안경을 쓴 사진들의 z 평균에서 안경을 안쓴 사진들의 z 평균을 빼면, 안경이라는 특징 벡터를 구할 수 있습니다.

 

K-005.png

 

 

 

이런 특징 추출이 발전하면 매우 미세하게 사진을 조작하게 됩니다. 전신 사진 한 장만 있으면 그 사람의 표정, 동작, 의상 등을 마음대로 변경할 수도 있습니다. 머지 않아 포토샵처럼 GAN샵 같은 프로그램이 대중화될거라 생각합니다.

 

 

 

< 미술관에 GAN 딥러닝 예제 >
https://github.com/…/…/master/03_06_vae_faces_analysis.ipynb

 

List of Articles
제목 글쓴이 날짜 조회 수sort
전신 사진을 생성하는 GAN 깊은바다 2019-05-05 830
알렉스넷과 Seq2Seq의 창시자 일리야 수츠케버(Ilya Sutskever) 깊은바다 2020-11-17 827
당근마켓에서 딥러닝 활용하기 - 불량 게시물 검사 깊은바다 2017-12-23 818
AutoML-Zero, 진화적 알고리즘을 사용하여 신경망 구조 설계 [2] 깊은바다 2020-03-13 817
자동회귀(autoregressive)로 이미지를 생성하는 iGPT file 깊은바다 2020-06-18 817
사진을 텍스트로 설명 - CaptionBot file 깊은바다 2016-04-07 793
딥러닝 이론에서 텐서플로 실습까지 [2] 깊은바다 2017-11-08 786
Stable Diffusion을 사용한 사진 변환 앱 Lensa AI, 앱스토어 1위 달성 깊은바다 2022-12-09 785
스케치와 색을 지정하여 셀카를 편집하는 SC-FEGAN 깊은바다 2019-02-22 769
딥러닝이 작동하는 원리는? 깊은바다 2019-11-17 768
딥러닝 역사 깊은바다 2018-07-10 749
미드저니로 생성한 90년대 중국 사진들 - 콘텐츠 산업의 혁신 file 깊은바다 2023-03-30 734
Semantic Segmentation을 활용한 차량 파손 탐지 딥러닝 모델 개발기 깊은바다 2020-02-14 731
순차적으로 여러가지 일을 동시에 배우는 신경망 깊은바다 2017-03-16 729
얀 르쿤, 자기지도학습이 강화학습보다 중요 깊은바다 2020-05-03 717