글 수 140


Image for post

 

http://moments.csail.mit.edu/

 

 

 

Moments in Time은 MIT에서 공개한 동영상 데이터셋입니다. ImageNet이 사진을 분류한다면, 이것은 동영상의 행동을 판단합니다. 3초 분량의 100만개의 동영상으로 구성되어 있습니다.

 

2018년과 2019년에 대회를 열기도 했는데요. 각각 다양한 방법들을 사용했습니다. 그중 2018년 우승한 팀은 시공간과 오디오 두가지 방법을 결합했습니다. 동영상에서 시간순으로 간격을 주고 8프레임을 뽑아내 붙입니다. 이를 CNN에 넣고 분류를 합니다. 오디오 역시 웨이브폼으로 변환하여 EnvNet으로 처리합니다. 최종적으로 이 두개의 모델을 앙상블하여 결과를 도출합니다.

 

딥러닝으로 사진을 분류하는 것은 이미 사람의 수준을 넘어섰습니다. 최근에는 이런 동영상 데이터가 많이 연구되고 있습니다. 지금은 유튜브에서 제목이나 설명, 태그 같은 텍스트 정보만 가지고 검색을 합니다. 이런 기술이 발전하면 매우 세밀하게 영상의 정보를 찾게 되지 않을까요.

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
문장을 사진으로 변환하는 GPT-3 모델, DALL-E 깊은바다 2021-01-09 75
GAN으로 만든 얼굴을 테스트할 수 있는 뉴욕타임스의 기사 file 깊은바다 2020-11-24 201
알렉스넷과 Seq2Seq의 창시자 일리야 수츠케버(Ilya Sutskever) 깊은바다 2020-11-17 114
GAN을 이용한 염색 및 헤어 스타일 합성 - 꽤 GAN찮은 헤어살롱 깊은바다 2020-10-29 283
GAN의 상용화를 알리는 시작 - 포토샵 뉴럴 필터 깊은바다 2020-10-22 379
이미지 생성모델에서 특징 벡터를 추출하여 사진을 조작하는 방법 file 깊은바다 2020-10-09 184
파이토치 버전 YOLO Colab 테스트 코드 file 깊은바다 2020-09-25 154
앤드류 응의 YOLO 강의 영상 깊은바다 2020-09-23 211
사진을 디즈니 만화로 바뀌주는 딥러닝 모델 - Toonify 깊은바다 2020-09-21 339
AI 없이 힘낼 수 없는 엔비디아 지포스 RTX - 딥러닝 DLSS 기술 깊은바다 2020-09-07 207
3초 분량의 100만개 동영상 데이터셋 - Moments in Time 깊은바다 2020-09-05 204
사진을 복원하는 딥러닝 모델 - DFDNet 깊은바다 2020-08-24 452
사진 한장으로 딥페이크 영상을 만드는 앱 - Reface 깊은바다 2020-08-18 6052
셀카를 일반 사진으로 변환해주는 GAN 모델 - Unselfie file 깊은바다 2020-08-08 366
StyleGAN을 이말년 웹툰으로 파인튜닝한 모델 깊은바다 2020-08-07 1055