레플리
글 수 203


K-001.png

 

https://openai.com/blog/jukebox/

 

 

 

GPT2로 유명한 OpenAI가 또 굉장한 모델을 공개했습니다. 작년에 발표한 MuseNet(https://openai.com/blog/musenet/)은 미디 데이터를 기반으로 음악을 생성했습니다. 방금 예측한 정보를 다시 입력에 넣어서 반복적으로 출력하는 자동회귀(autoregressive) 방식입니다.

 

Jukebox는 무려 오디오 사운드를 그대로 사용합니다. 웨이브 파형은 기호화된 미디 데이터보다 시퀀스가 훨씬 길어집니다. 그래서 직접 입력으로 넣기가 어렵습니다. 이를 위해 VQ-VAE를 활용하는 새로운 아이디어를 적용합니다. 먼저 인코더에서 오디오를 코드로 압축합니다. 코드 단위로 트랜스포머에 넣어 음악을 생성을 한 다음에, 다시 디코더에서 오디오 형태로 복원합니다.

 

이렇게 학습이 끝나면 GAN이나 VAE처럼 잠재공간(latent space)를 조작하여 다양하게 변형도 가능합니다. 노래의 장르를 팝에서 재즈로 바꾸거나, 특정 곡을 다른 가수의 목소리로 변경할 수도 있습니다. 무엇보다 새로운 가사만 주어지면 거기에 맞는 노래를 만들어내는게 가장 놀라웠습니다.

 

아직은 잡음이 너무 심하고 곡의 품질이 많이 떨어지는 편입니다. 하지만 이런 기술이 발전하면 음악 산업에 큰 파장을 일으킬 것 같습니다. 내가 좋아하는 가수의 신곡을 매일 받아보는 세상이 오게 될까요.

 

List of Articles
제목 글쓴이 날짜 조회 수sort
OpenAI의 Sora로 만든 단편영화 file 깊은바다 2024-03-26 53
Text-to-Video 생성 서비스인 Pika, 5500만달러 투자 유치 file 깊은바다 2023-11-29 139
누구나 쉽게 AI 인플루언서를 만드는 시대 - Aitana Lopez file 깊은바다 2024-01-04 159
인도의 생성AI 영화 - Maharaja in Denims 깊은바다 2024-01-16 184
AI의 미래 - Coatue가 주목한 AI 산업 트렌드 깊은바다 2023-11-28 187
만약 ChatGPT가 영상으로 세상을 이해하게 된다면? file 깊은바다 2024-02-16 231
초거대AI를 API로 썼을 때 경쟁업체와 차별화를 하려면 깊은바다 2023-03-20 289
GPT : 도래한 초거대 AI의 시대, 빅테크가 주도할 수 밖에 없는 이유 file 깊은바다 2022-12-22 329
가구 카탈로그를 만들어주는 생성AI - 뚝딱 AI 스튜디오 file 깊은바다 2023-09-22 338
어도비의 생성AI 프로그램 - Firefly 깊은바다 2023-03-23 339
World Models를 만든 David Ha, 구글에서 StabilityAI로 이적 file 깊은바다 2022-10-11 361
생성 AI의 시대, 진짜 메타버스가 온다 깊은바다 2023-04-04 362
딥러닝 시대에 글로벌 대기업들을 따라잡을 수 있을까 깊은바다 2020-01-30 370
사인필드 시트콤을 패러디한 AI 생성 애니메이션 방송 file 깊은바다 2023-02-01 402
인공지능이 가상의 온라인 모델을 만들어낸다면? 깊은바다 2019-03-15 404