레플리
글 수 203


K-001.png

 

https://openai.com/blog/jukebox/

 

 

 

GPT2로 유명한 OpenAI가 또 굉장한 모델을 공개했습니다. 작년에 발표한 MuseNet(https://openai.com/blog/musenet/)은 미디 데이터를 기반으로 음악을 생성했습니다. 방금 예측한 정보를 다시 입력에 넣어서 반복적으로 출력하는 자동회귀(autoregressive) 방식입니다.

 

Jukebox는 무려 오디오 사운드를 그대로 사용합니다. 웨이브 파형은 기호화된 미디 데이터보다 시퀀스가 훨씬 길어집니다. 그래서 직접 입력으로 넣기가 어렵습니다. 이를 위해 VQ-VAE를 활용하는 새로운 아이디어를 적용합니다. 먼저 인코더에서 오디오를 코드로 압축합니다. 코드 단위로 트랜스포머에 넣어 음악을 생성을 한 다음에, 다시 디코더에서 오디오 형태로 복원합니다.

 

이렇게 학습이 끝나면 GAN이나 VAE처럼 잠재공간(latent space)를 조작하여 다양하게 변형도 가능합니다. 노래의 장르를 팝에서 재즈로 바꾸거나, 특정 곡을 다른 가수의 목소리로 변경할 수도 있습니다. 무엇보다 새로운 가사만 주어지면 거기에 맞는 노래를 만들어내는게 가장 놀라웠습니다.

 

아직은 잡음이 너무 심하고 곡의 품질이 많이 떨어지는 편입니다. 하지만 이런 기술이 발전하면 음악 산업에 큰 파장을 일으킬 것 같습니다. 내가 좋아하는 가수의 신곡을 매일 받아보는 세상이 오게 될까요.

 

List of Articles
제목 글쓴이 날짜sort 조회 수
OpenAI의 Sora로 만든 단편영화 file 깊은바다 2024-03-26 53
만약 ChatGPT가 영상으로 세상을 이해하게 된다면? file 깊은바다 2024-02-16 231
인도의 생성AI 영화 - Maharaja in Denims 깊은바다 2024-01-16 184
누구나 쉽게 AI 인플루언서를 만드는 시대 - Aitana Lopez file 깊은바다 2024-01-04 159
95생 천재 소녀가 만든 Pika가 빅테크들을 이길 수 있었던 이유 file [2] 깊은바다 2023-12-24 949
Text-to-Video 생성 서비스인 Pika, 5500만달러 투자 유치 file 깊은바다 2023-11-29 139
AI의 미래 - Coatue가 주목한 AI 산업 트렌드 깊은바다 2023-11-28 187
가구 카탈로그를 만들어주는 생성AI - 뚝딱 AI 스튜디오 file 깊은바다 2023-09-22 338
내가 원하는 사진을 만드는 생성AI SNS - 트윅(Tweak) file 깊은바다 2023-09-04 444
마우스로 끌어서 사진을 수정하는 딥러닝 - DragGAN 깊은바다 2023-05-21 430
생성 AI의 시대, 진짜 메타버스가 온다 깊은바다 2023-04-04 363
ChatGPT와 Stable Diffusion에 대한 정지훈 교수님 강의 깊은바다 2023-04-03 409
미드저니로 생성한 90년대 중국 사진들 - 콘텐츠 산업의 혁신 file 깊은바다 2023-03-30 734
어도비의 생성AI 프로그램 - Firefly 깊은바다 2023-03-23 339
초거대AI를 API로 썼을 때 경쟁업체와 차별화를 하려면 깊은바다 2023-03-20 289