글 수 133


Image for post

 

http://moments.csail.mit.edu/

 

 

 

Moments in Time은 MIT에서 공개한 동영상 데이터셋입니다. ImageNet이 사진을 분류한다면, 이것은 동영상의 행동을 판단합니다. 3초 분량의 100만개의 동영상으로 구성되어 있습니다.

 

2018년과 2019년에 대회를 열기도 했는데요. 각각 다양한 방법들을 사용했습니다. 그중 2018년 우승한 팀은 시공간과 오디오 두가지 방법을 결합했습니다. 동영상에서 시간순으로 간격을 주고 8프레임을 뽑아내 붙입니다. 이를 CNN에 넣고 분류를 합니다. 오디오 역시 웨이브폼으로 변환하여 EnvNet으로 처리합니다. 최종적으로 이 두개의 모델을 앙상블하여 결과를 도출합니다.

 

딥러닝으로 사진을 분류하는 것은 이미 사람의 수준을 넘어섰습니다. 최근에는 이런 동영상 데이터가 많이 연구되고 있습니다. 지금은 유튜브에서 제목이나 설명, 태그 같은 텍스트 정보만 가지고 검색을 합니다. 이런 기술이 발전하면 매우 세밀하게 영상의 정보를 찾게 되지 않을까요.

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
앤드류 응의 YOLO 강의 영상 깊은바다 2020-09-23 54
사진을 디즈니 만화로 바뀌주는 딥러닝 모델 - Toonify 깊은바다 2020-09-21 102
AI 없이 힘낼 수 없는 엔비디아 지포스 RTX - 딥러닝 DLSS 기술 깊은바다 2020-09-07 96
3초 분량의 100만개 동영상 데이터셋 - Moments in Time 깊은바다 2020-09-05 105
사진을 복원하는 딥러닝 모델 - DFDNet 깊은바다 2020-08-24 204
사진 한장으로 딥페이크 영상을 만드는 앱 - Reface 깊은바다 2020-08-18 416
셀카를 일반 사진으로 변환해주는 GAN 모델 - Unselfie file 깊은바다 2020-08-08 231
StyleGAN을 이말년 웹툰으로 파인튜닝한 모델 깊은바다 2020-08-07 542
배치 사이즈에 따라 GPU 메모리가 증가하는 이유 깊은바다 2020-07-28 175
말로 설명하면 사진을 만들어주는 딥러닝 모델 - RetrieveGAN 깊은바다 2020-07-26 236
자신의 사진과 선택한 옷들을 GAN으로 합성해서 보여주는 딥러닝 깊은바다 2020-07-21 280
대학교 게시판을 크롤링하여 만든 GPT2 모델 file 깊은바다 2020-07-18 360
딥페이크 알고리즘 설명 깊은바다 2020-07-16 297
GAN으로 만든 모델 사진을 판매하는 일본 회사 깊은바다 2020-07-08 211
생성 모델이 일반 인공지능(AGI)으로 가는 열쇠 file 깊은바다 2020-06-29 580