레플리
글 수 203


Image for post

 

http://moments.csail.mit.edu/

 

 

 

Moments in Time은 MIT에서 공개한 동영상 데이터셋입니다. ImageNet이 사진을 분류한다면, 이것은 동영상의 행동을 판단합니다. 3초 분량의 100만개의 동영상으로 구성되어 있습니다.

 

2018년과 2019년에 대회를 열기도 했는데요. 각각 다양한 방법들을 사용했습니다. 그중 2018년 우승한 팀은 시공간과 오디오 두가지 방법을 결합했습니다. 동영상에서 시간순으로 간격을 주고 8프레임을 뽑아내 붙입니다. 이를 CNN에 넣고 분류를 합니다. 오디오 역시 웨이브폼으로 변환하여 EnvNet으로 처리합니다. 최종적으로 이 두개의 모델을 앙상블하여 결과를 도출합니다.

 

딥러닝으로 사진을 분류하는 것은 이미 사람의 수준을 넘어섰습니다. 최근에는 이런 동영상 데이터가 많이 연구되고 있습니다. 지금은 유튜브에서 제목이나 설명, 태그 같은 텍스트 정보만 가지고 검색을 합니다. 이런 기술이 발전하면 매우 세밀하게 영상의 정보를 찾게 되지 않을까요.

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
사진 한장으로 딥페이크 영상을 만드는 앱 - Reface 깊은바다 2020-08-18 26879
딥러닝의 종류 간단 설명 file 깊은바다 2017-03-11 25122
YOLO, Object Detection Network - 알고리즘 설명 file 깊은바다 2019-06-02 24963
신경망에 활성화 함수가 필요한 이유 file 깊은바다 2019-05-14 23714
만화 캐릭터를 자동으로 생성하는 서비스 - Waifu file 깊은바다 2019-08-23 20312
DALL.E를 직접 테스트해볼 수 있는 사이트 - DALL.E mini file 깊은바다 2022-05-17 11518
Quick, Draw! - 구글이 만든 그림 맞추기 깊은바다 2017-02-28 10710
퓨샷 러닝(few-shot learning)과 메타 러닝(meta-learning) 깊은바다 2020-06-27 10259
딥러닝 텐서플로를 사용하여 코카콜라 병뚜껑 경품번호 인식 깊은바다 2018-01-23 8607
딥러닝 합성곱 신경망(CNN) 개요 file 깊은바다 2017-03-05 7677
딥러닝 이미지 편집 프로그램 - GAN Paint 깊은바다 2019-01-12 7231
네이버의 손글씨 자동생성 인공지능 file 깊은바다 2019-09-08 7124
불쾌한 골짜기에서 대유쾌 마운틴으로 - 이미지 생성AI file 깊은바다 2023-03-08 6926
텍스트를 이미지로 생성해주는 사이트 - Text2Art (VQGAN-CLIP) file 깊은바다 2021-11-10 6865
딥러닝의 미래는 바로 비지도학습 깊은바다 2019-06-06 6352