레플리
글 수 204

말로 설명하면 사진을 만들어주는 딥러닝 모델 - RetrieveGAN

조회 수 633 추천 수 0 2020.07.26 05:09:23
깊은바다 *.68.248.98


RetrieveGAN

 

https://venturebeat.com/2020/07/22/retrievegan-ai-tool-combines-scene-fragments-to-create-new-images/

 

 

 

RetrieveGAN이라는 재미있는 모델이 공개됐습니다. 말로 장면을 설명하면 거기에 맞는 이미지를 만들어냅니다. StackGAN(http://aidev.co.kr/5894)과 비슷하지만 큰 차이가 있습니다. 문장에서 바로 사진을 생성하지 않고, 먼저 데이터셋에서 각 오브젝트의 사진 조각들을 찾습니다. 그다음 이 사진 조각들을 사용해서 GAN으로 전체 이미지를 다시 그립니다. 이렇게 하면 좀 더 정확한 사진을 만들 수 있습니다.

 

예를 들어, '하늘이 보이는 바다위에 사람이 있다'라는 문장이 주어졌습니다. 우선 이를 그래프로 변환하고, 다시 수학적인 형식으로 표현합니다. 그리고 '하늘', '바다', '사람'의 사진 조각을 데이터에서 검색합니다. 마지막으로 GAN을 통해 하나의 이미지를 생성합니다.

 

작년에 NVIDIA에서 스케치를 사진으로 만들어주는 GauGAN(http://aidev.co.kr/7184)을 발표하기도 했습니다. 앞으로는 더 나아가 컴퓨터와 대화하면서 그림을 그리는 시대가 될 것 같습니다.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
Transformer와 동급의 성능에 속도는 훨씬 빨라진 MLP-Mixer file 깊은바다 2021-06-11 1450
R-CNN 에서 부터 Mask R-CNN 까지 깊은바다 2019-09-03 1409
목소리와 입모양을 변경할 수 있는 GAN 모델 깊은바다 2019-06-13 1389
딥페이크로 일론 머스크인 척 친구들을 속이는 영상 깊은바다 2020-04-19 1389
텐서플로우에서 소프트맥스로 숫자 인식 구현 file 깊은바다 2017-03-09 1375
텐서플로우로 선형 회귀 구현 file 깊은바다 2017-03-09 1361
오픈소스로 공개된 Text-to-Image 모델 - Stable Diffusion 깊은바다 2022-09-07 1353
사진을 디즈니 만화로 바뀌주는 딥러닝 모델 - Toonify 깊은바다 2020-09-21 1345
딥러닝 범용 모델 - Foundation Models 깊은바다 2021-09-06 1319
아이폰에서 실행하는 Stable Diffusion 앱 - Draw Things 깊은바다 2022-11-11 1317
RNN(Recurrent Neural Network) 튜토리얼 깊은바다 2017-07-22 1303
하나의 얼굴 이미지로 다양하게 변형된 얼굴을 만드는 StarGAN [1] NeuroWhAI 2017-12-30 1301
딥러닝 GAN으로 생성한 고해상도 사진 [2] 깊은바다 2017-06-08 1290
전문가 수준의 사진을 생성하는 NVIDIA의 PoE-GAN 깊은바다 2022-02-16 1282
최신 딥러닝 모델들의 학습 비용 깊은바다 2019-12-12 1268
목록
쓰기