Jukebox | OpenAI

En su núcleo, Jukebox emplea un modelo jerárquico VQ-VAE (Vector Quantized Variational Autoencoder) para comprimir el audio crudo en un espacio discreto de menor dimensión. Esta compresión es crucial para manejar las secuencias extremadamente largas inherentes a los datos de audio, permitiendo al modelo aprender estructuras semánticas de alto nivel. La arquitectura VQ-VAE está inspirada en VQ-VAE-2, con modificaciones para abordar el colapso del libro de códigos y mejorar la calidad de la reconstrucción, incluida la adición de una pérdida espectral. El modelo utiliza tres niveles de compresión, reduciendo la frecuencia de muestreo del audio crudo de 44 kHz a 8x, 32x y 128x, conservando información musical esencial como el tono, el timbre y el volumen.

Tras la compresión del audio, se entrenan modelos transformer como modelos previos para aprender la distribución de estos códigos de audio comprimidos. Estos modelos previos generan música en el espacio discreto, con un modelo previo de nivel superior que captura la estructura de largo alcance y modelos previos de nivel inferior que añaden detalles musicales locales. Los modelos se entrenan de forma autorregresiva utilizando una variante simplificada de Sparse Transformers, y cada modelo presenta 72 capas de autoatención factorizada. Este enfoque jerárquico permite a Jukebox generar piezas musicales coherentes con una calidad de audio impresionante.

Jukebox puede ser condicionado a varios insumos, incluyendo género, artista y letras. Al proporcionarlos como entrada, los usuarios pueden dirigir el proceso de generación para producir música en un estilo deseado. El modelo fue entrenado en un gran conjunto de datos de 1.2 millones de canciones, emparejadas con letras y metadatos de LyricWiki. El condicionamiento en las letras, en particular, requirió técnicas de alineación sofisticadas para hacer coincidir el contenido lírico con los segmentos de audio correspondientes, mejorando la capacidad del modelo para generar canto.

A pesar de sus capacidades, Jukebox tiene limitaciones. Las canciones generadas pueden carecer de estructuras musicales más grandes y familiares, como estribillos repetidos, y el proceso de reducción/aumento de la frecuencia de muestreo puede introducir ruido discernible. El proceso de muestreo también es lento, tardando aproximadamente 9 horas en renderizar un minuto de audio, lo que lo hace inadecuado para aplicaciones interactivas. El trabajo futuro tiene como objetivo mejorar la musicalidad, reducir el ruido y aumentar la velocidad de muestreo, potencialmente a través de la destilación en un muestreador paralelo. OpenAI también planea ampliar el alcance del modelo para incluir canciones de otros idiomas y regiones, fomentando la colaboración humano-modelo en la creación musical.