글 수 119


K-001.png

 

https://openai.com/blog/jukebox/

 

 

 

GPT2로 유명한 OpenAI가 또 굉장한 모델을 공개했습니다. 작년에 발표한 MuseNet(https://openai.com/blog/musenet/)은 미디 데이터를 기반으로 음악을 생성했습니다. 방금 예측한 정보를 다시 입력에 넣어서 반복적으로 출력하는 자동회귀(autoregressive) 방식입니다.

 

Jukebox는 무려 오디오 사운드를 그대로 사용합니다. 웨이브 파형은 기호화된 미디 데이터보다 시퀀스가 훨씬 길어집니다. 그래서 직접 입력으로 넣기가 어렵습니다. 이를 위해 VQ-VAE를 활용하는 새로운 아이디어를 적용합니다. 먼저 인코더에서 오디오를 코드로 압축합니다. 코드 단위로 트랜스포머에 넣어 음악을 생성을 한 다음에, 다시 디코더에서 오디오 형태로 복원합니다.

 

이렇게 학습이 끝나면 GAN이나 VAE처럼 잠재공간(latent space)를 조작하여 다양하게 변형도 가능합니다. 노래의 장르를 팝에서 재즈로 바꾸거나, 특정 곡을 다른 가수의 목소리로 변경할 수도 있습니다. 무엇보다 새로운 가사만 주어지면 거기에 맞는 노래를 만들어내는게 가장 놀라웠습니다.

 

아직은 잡음이 너무 심하고 곡의 품질이 많이 떨어지는 편입니다. 하지만 이런 기술이 발전하면 음악 산업에 큰 파장을 일으킬 것 같습니다. 내가 좋아하는 가수의 신곡을 매일 받아보는 세상이 오게 될까요.

 

List of Articles
제목 글쓴이 날짜 조회 수
생성 모델이 일반 인공지능(AGI)으로 가는 열쇠 file 깊은바다 2020-06-29 296
퓨샷 러닝(few-shot learning)과 메타 러닝(meta-learning) 깊은바다 2020-06-27 82
자동회귀(autoregressive)로 이미지를 생성하는 iGPT file 깊은바다 2020-06-18 142
GPT3를 기반으로한 OpenAI API 유료화 깊은바다 2020-06-12 220
스케치를 얼굴사진으로 변형하는 딥러닝 생성모델 - DeepFaceDrawing 깊은바다 2020-06-07 110
AI는 '스스로 학습'할 수 있을까? - 자기지도학습 깊은바다 2020-06-02 161
팩맨 게임을 딥러닝으로 시뮬레이션한 GameGAN 깊은바다 2020-05-23 150
CNN 시각화 사이트 - CNN Explainer 깊은바다 2020-05-10 211
얀 르쿤, 자기지도학습이 강화학습보다 중요 깊은바다 2020-05-03 156
미디가 아니라 오디오로 음악을 만들어내는 OpenAI의 생성 모델 - Jukebox file 깊은바다 2020-05-02 68
딥러닝 웹서비스 개발 도전기 - 연예인 얼굴 판별기 깊은바다 2020-05-01 144
사회적 거리를 지키는지 확인하는 지능형 CCTV 깊은바다 2020-04-23 159
딥페이크로 일론 머스크인 척 친구들을 속이는 영상 깊은바다 2020-04-19 187
딥마인드의 Agent57, 아타리 게임 벤치마크 정복 깊은바다 2020-04-03 167
AutoML-Zero, 진화적 알고리즘을 사용하여 신경망 구조 설계 [2] 깊은바다 2020-03-13 453