글 수 157


Search results for "People crossing the street"

 

https://github.com/haltakov/natural-language-youtube-search

 

 

 

올해 1월에 OpenAI가 CLIP이란 모델을 공개했습니다. 자연어를 벡터로 표현하고, 이미지도 벡터로 표현합니다. 그다음 같은 의미를 가진 자연어와 이미지가 비슷한 벡터값을 가지도록 학습합니다. 인터넷에는 사진에 대한 캡션이 많이 있는데, 이걸 데이터로 사용했습니다.

 

http://aidev.co.kr/deeplearning/10254

 

 

 

CLIP 발표 이후로 다양하게 응용한 애플리케이션이 등장하고 있습니다. 대표적으로는 StyleCLIP이 있습니다. CLIP에 StyleGAN을 적용했는데, 말로 설명해서 사진을 변형할 수 있습니다. 예를 들어, 얼굴사진에 '웃는 얼굴'이라고 입력하면 웃는 표정의 사진으로 바뀝니다.

 

http://aidev.co.kr/deeplearning/10338

 

 

 

이번에 소개해드리는 것은 유튜브 영상에서 원하는 장면을 자연어로 찾는 기능입니다. 우선 영상에서 특정 시간단위로 프레임을 추출합니다. 그리고 각 프레임을 CLIP으로 인코딩합니다. 찾고자 하는 장면을 말로 설명하면 그 문장 역시 CLIP으로 벡터화합니다. 마지막으로 두 벡터가 가장 유사한 프레임을 선택합니다. 예제를 보면, '소방차', '거리를 건너는 사람들', '빨간불에서 대기' 등의 장면을 성공적으로 검색했습니다.

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
딥러닝 범용 모델 - Foundation Models 깊은바다 2021-09-06 622
소프트웨어 개발 경험이 먼저다 - 딥러닝 역시 S/W 기술의 하나일 뿐 깊은바다 2021-07-14 651
제프리 힌튼, 얀 르쿤, 요슈아 벤지오가 말하는 딥러닝의 미래 깊은바다 2021-07-08 556
OpenAI의 CLIP을 사용해서 자연어로 유튜브 영상 검색 깊은바다 2021-07-05 442
스케치를 사진으로 바꾸어주는 프로그램 - NVIDIA CANVAS 깊은바다 2021-06-25 361
한 단어만으로 텍스트 스타일을 바꿔주는 딥러닝 모델 - TextStyleBrush 깊은바다 2021-06-24 230
GameGAN으로 직접 화면을 생성하는 GTA5 게임 깊은바다 2021-06-20 199
Transformer와 동급의 성능에 속도는 훨씬 빨라진 MLP-Mixer file 깊은바다 2021-06-11 281
GAN으로 얼굴사진을 생성하는 사이트 - Face Generator file 깊은바다 2021-04-28 406
말로 설명하여 이미지를 변형하는 GAN - StyleCLIP file 깊은바다 2021-04-04 768
GPT-3로 광고문구를 만드는 서비스 - Copy.ai 깊은바다 2021-03-22 338
딥러닝의 창시자인 제프리 힌튼이 구글에 합류하게 된 스토리 깊은바다 2021-03-18 217
뉴런 하나로 특정 개념을 표현한다, CLIP 모델에서 개념 뉴런을 발견 file 깊은바다 2021-03-12 282
스냅챕의 디즈니 필터 깊은바다 2021-03-12 260
이젠 모델 구축도 학습도 필요없다, OpenAI의 이미지인식 모델 CLIP file 깊은바다 2021-03-07 1085