글 수 203
Moments in Time은 MIT에서 공개한 동영상 데이터셋입니다. ImageNet이 사진을 분류한다면, 이것은 동영상의 행동을 판단합니다. 3초 분량의 100만개의 동영상으로 구성되어 있습니다.
2018년과 2019년에 대회를 열기도 했는데요. 각각 다양한 방법들을 사용했습니다. 그중 2018년 우승한 팀은 시공간과 오디오 두가지 방법을 결합했습니다. 동영상에서 시간순으로 간격을 주고 8프레임을 뽑아내 붙입니다. 이를 CNN에 넣고 분류를 합니다. 오디오 역시 웨이브폼으로 변환하여 EnvNet으로 처리합니다. 최종적으로 이 두개의 모델을 앙상블하여 결과를 도출합니다.
딥러닝으로 사진을 분류하는 것은 이미 사람의 수준을 넘어섰습니다. 최근에는 이런 동영상 데이터가 많이 연구되고 있습니다. 지금은 유튜브에서 제목이나 설명, 태그 같은 텍스트 정보만 가지고 검색을 합니다. 이런 기술이 발전하면 매우 세밀하게 영상의 정보를 찾게 되지 않을까요.