레플리
글 수 281

문장을 사진으로 변환하는 StackGAN

조회 수 1434 추천 수 0 2018.09.17 18:10:48


 

https://arxiv.org/pdf/1612.03242.pdf

 

 

 

이미지를 문장으로 변환하는 것은 이미 상당한 수준에 올라있습니다. CNN으로 사진을 벡터로 변환하고 이를 다시 RNN으로 넣어 텍스트를 생성합니다. 예를 들어, 어떤 사진을 보고 "고양이가 의자위에 앉아있다"라고 문장을 만들 수 있습니다.

 

< Image to Text 데모 >
http://www.cs.toronto.edu/~nitish/nips2014demo/index.html

 

 

 

하지만 반대로 문장을 입력하면 사진을 생성하는 것도 가능합니다. 여기서 사용되는 기법이 최근 페이크 영상 합성으로 유명한 GAN입니다. 생성자와 구분자 두 가지 모델이 서로 경쟁하면서 조금씩 학습을 수행합니다. 생성자는 특정 벡터값이 주어졌을때 이를 확률분포로 하는 이미지로 변환하고, 구분자는 생성자가 만든 사진과 실제 사진을 번갈아서 진짜인지 판단합니다.

 

이때 문장을 벡터로 임베딩하여 생성자의 입력으로 사용하면 텍스트를 이미지로 생성할 수 있습니다. 하지만 학습이 잘 되지 않아 품질이 많이 떨어지는 단점이 있었는데 StackGAN은 256x256 사이즈의 고해상도 사진이 가능합니다.

 

가장 큰 특징은 여러 단계로 학습을 했다는 것입니다. 1단계에서는 기존과 같이 저해상도의 사진을 만들고 2단계에서는 1단계의 사진과 문장 벡터를 다시 입력으로 하여 고해상도 사진을 생성합니다. 이처럼 GAN을 쌓아서 만들었다고 해서 StackGAN이라고 부릅니다.

 

엮인글 :

ddd

2019.01.02 22:39:44
*.199.245.164

안녕하세요~!잘읽었습니당:)
본문에 "생성자는 특정 벡터값이 주어졌을때 이를 확률분포로 하는 이미지로 변환하고, -"에서 생성자의 input인 특정 벡터값이 무엇인가요??
다른글에서는 noise라고도 하고 random latent vector라고도 하더라구요....
특정벡터값이 뭔지 자세히 알려주세요...
감사합니다!
List of Articles
제목 글쓴이 날짜sort 조회 수
GPT-3로 NPC와 대화를 할 수 있는 게임 시뮬레이터 깊은바다 2021-02-22 1456
GPT-2를 사용한 텍스트 압축 기법 file 깊은바다 2021-02-19 471
딥러닝 자연어처리 라이브러리 - Pororo file 깊은바다 2021-02-03 1526
스캐터랩의 오픈도메인 챗봇 루다 육아일기 - 모델의 구조 및 동작방식 file 깊은바다 2020-12-30 1190
일상대화 챗봇 레플리카(Replika)의 구현 방식 file 깊은바다 2020-12-22 1500
좋은 응답을 골라내는 모델 만들기 - 핑퐁의 답변매칭 알고리즘 깊은바다 2020-12-10 552
GPT-3를 헬스케어 서비스에 적용했을 때의 문제점들 깊은바다 2020-11-04 706
스캐터랩의 핑퐁팀, 새로운 생성 모델 챗봇 데모 공개 깊은바다 2020-11-02 897
카카오미니의 명령어 분류 방법 깊은바다 2020-10-23 259
딥러닝으로 동네생활 게시글 필터링하기 깊은바다 2020-10-06 397
KoNLPy를 이용하여 Huggingface Transformers 학습하기 깊은바다 2020-09-20 1567
GPT-3 패러다임을 바꿀 미친 성능의 인공지능 등장 및 활용 사례 10가지 깊은바다 2020-09-14 797
GPT3 유료화 가격 공개 file 깊은바다 2020-09-04 1746
GPT-3의 다섯 가지 한계 깊은바다 2020-08-23 1048
그림으로 아주 쉽게 설명한, The Illustrated GPT-2 깊은바다 2020-08-15 2754