Jukebox | OpenAI

Em sua essência, Jukebox emprega um modelo VQ-VAE (Vector Quantized Variational Autoencoder) hierárquico para comprimir áudio bruto em um espaço discreto e de baixa dimensão. Essa compressão é crucial para lidar com as sequências extremamente longas inerentes aos dados de áudio, permitindo que o modelo aprenda estruturas semânticas de alto nível. A arquitetura VQ-VAE é inspirada no VQ-VAE-2, com modificações para abordar o colapso do codebook e melhorar a qualidade da reconstrução, incluindo a adição de uma perda espectral. O modelo utiliza três níveis de compressão, subamostrando áudio bruto de 44kHz em 8x, 32x e 128x, retendo informações musicais essenciais como tom, timbre e volume.

Após a compressão do áudio, modelos transformer são treinados como modelos priors para aprender a distribuição desses códigos de áudio comprimidos. Esses priors geram música no espaço discreto, com um prior de nível superior capturando a estrutura de longo alcance e priors de nível inferior adicionando detalhes musicais locais. Os modelos são treinados autorregressivamente usando uma variante simplificada de Sparse Transformers, com cada modelo apresentando 72 camadas de auto-atenção fatorada. Essa abordagem hierárquica permite que Jukebox gere peças musicais coerentes com qualidade de áudio impressionante.

Jukebox pode ser condicionado a várias entradas, incluindo gênero, artista e letras. Ao fornecer essas informações como entrada, os usuários podem direcionar o processo de geração para produzir música em um estilo desejado. O modelo foi treinado em um grande conjunto de dados de 1,2 milhão de músicas, emparelhadas com letras e metadados do LyricWiki. O condicionamento em letras, em particular, exigiu técnicas de alinhamento sofisticadas para corresponder o conteúdo lírico a segmentos de áudio correspondentes, aprimorando a capacidade do modelo de gerar canto.

Apesar de suas capacidades, Jukebox tem limitações. As músicas geradas podem carecer de estruturas musicais maiores e familiares, como refrões repetidos, e o processo de subamostragem/superamostragem pode introduzir ruído discernível. O processo de amostragem também é lento, levando aproximadamente 9 horas para renderizar um minuto de áudio, tornando-o inadequado para aplicações interativas. Trabalhos futuros visam melhorar a musicalidade, reduzir o ruído e aumentar a velocidade de amostragem, potencialmente através de destilação em um sampler paralelo. A OpenAI também planeja expandir o escopo do modelo para incluir músicas de outros idiomas e regiões, promovendo a colaboração humano-modelo na criação musical.