Modelo de Lenguaje CTRL de Salesforce

Descripción

CTRL, un Modelo de Lenguaje Transformador Condicional, es un potente modelo de IA desarrollado por Salesforce diseñado para la generación de texto controlable. Con 1.6 mil millones de parámetros, aprovecha una arquitectura transformadora para producir texto coherente y contextualmente relevante. A diferencia de los modelos de lenguaje estándar, la innovación clave de CTRL reside en su capacidad para condicionar su salida en códigos de control específicos.

Estos códigos de control pueden especificar varios aspectos de la generación deseada, incluyendo el dominio (por ejemplo, noticias, Wikipedia, reseñas), subdominios, entidades, relaciones entre entidades, fechas y comportamientos específicos de la tarea. Este control granular se logra derivando códigos de control de la estructura natural que coexiste con el texto sin procesar, preservando así los beneficios del aprendizaje no supervisado y al mismo tiempo ofreciendo una guía más explícita sobre el proceso de generación.

El modelo es particularmente útil para investigadores y desarrolladores que necesitan ajustar la generación de texto para aplicaciones específicas. Admite la generación de texto a partir de modelos entrenados, con puntos de control disponibles para diferentes longitudes de secuencia (256 y 512). Además, ofrece una función de atribución de fuente que calcula la perplejidad de un prompt dado condicional a cada código de control de dominio, ayudando a comprender la comprensión específica del dominio del modelo.

CTRL se ha integrado en la biblioteca Hugging Face Transformers, lo que lo hace más accesible para un uso más amplio. El proyecto también proporciona herramientas para convertir modelos de TensorFlow a un formato PyTorch compatible con Hugging Face, facilitando una integración más sencilla. El desarrollo del modelo enfatiza las prácticas de IA responsable, con consideraciones para el uso indebido potencial y la participación de la comunidad a través de problemas y solicitudes de extracción de GitHub.

Las capacidades clave incluyen la generación de texto basada en prompts y códigos de control, la provisión de atribuciones de fuente para el texto y la oferta de soporte de inferencia experimental en PyTorch. El modelo es adecuado para tareas que requieren una salida de texto matizada y controlada, como escritura creativa, generación de contenido e investigación sobre el comportamiento de los modelos de lenguaje. El compromiso del proyecto con el desarrollo de código abierto y la participación de la comunidad es evidente a través de su repositorio público de GitHub y su documentación detallada.

Aspectos destacados de Modelo de Lenguaje CTRL de Salesforce

• Generación de texto condicional basada en códigos de control

• 1.6 mil millones de parámetros

• Arquitectura Transformer

• Soporta condicionamiento de dominio, entidad y específico de tarea

• Función de atribución de fuente para perplejidad de dominio

• Disponible en formatos TensorFlow y PyTorch

• Integración con la biblioteca Hugging Face Transformers

• Puntos de control del modelo para diferentes longitudes de secuencia (256, 512)

• Código para ajuste fino en conjuntos de datos personalizados

• Inferencia experimental en PyTorch

• Rama de menor uso de memoria disponible (cuantización fp16)

Primeros pasos con Modelo de Lenguaje CTRL de Salesforce

1. 1

   Acceder al Modelo: Clonar el repositorio de GitHub o usar la biblioteca Hugging Face Transformers.

2. 2

   Configurar el Entorno: Instalar TensorFlow 1.14 y fastBPE, o PyTorch para inferencia en PyTorch.

3. 3

   Parchear TensorFlow (si se usa TF): Aplicar el estimador.patch proporcionado al estimador de TensorFlow.

4. 4

   Descargar Archivos del Modelo: Obtener los puntos de control del modelo de los enlaces proporcionados de Google Cloud Storage.

5. 5

   Ejecutar Script de Generación: Ejecutar generation.py con los prompts y códigos de control deseados.

6. 6

   Ejecutar Atribución de Fuente: Usar source_attribution.py para analizar la perplejidad del prompt en diferentes dominios.

7. 7

   Integrar vía API: Utilizar Hugging Face Transformers para una integración fluida en aplicaciones.

Casos de uso de Modelo de Lenguaje CTRL de Salesforce

• Generación de Texto Controlable
• Creación de Contenido
• Investigación en IA
• Análisis de Atribución de Fuente
• Asistencia en Escritura Creativa
• Generación de Texto Específico de Dominio

Preguntas frecuentes de Modelo de Lenguaje CTRL de Salesforce

• ¿Cuál es la función principal del modelo de lenguaje CTRL de Salesforce?

  La función principal del modelo de lenguaje CTRL de Salesforce es generar texto de manera controlable condicionando su salida en códigos de control específicos que definen el dominio, las entidades y el comportamiento específico de la tarea.

• ¿Cómo logra CTRL la generación de texto controlable?

  CTRL logra la generación de texto controlable condicionándose en códigos de control derivados de la estructura natural del texto, lo que permite a los usuarios especificar aspectos como el dominio, las entidades y el comportamiento específico de la tarea para un control de generación más explícito.

• ¿Cuáles son los tamaños de modelo disponibles para CTRL?

  CTRL está disponible con diferentes longitudes de secuencia, incluyendo modelos entrenados con longitudes de secuencia de 256 y 512. También está disponible un modelo de 36 capas.

• ¿Se puede usar CTRL con PyTorch?

  Sí, el repositorio proporciona soporte de inferencia experimental para PyTorch, con código para convertir pesos de TensorFlow a un formato PyTorch compatible con Hugging Face.

• ¿Cómo puedo integrar CTRL en mis proyectos?

  CTRL se puede integrar clonando el repositorio de GitHub y utilizando los scripts proporcionados, o aprovechando su integración dentro de la biblioteca Hugging Face Transformers.

• ¿Qué es la función de atribución de fuente en CTRL?

  La función de atribución de fuente calcula la perplejidad de un prompt dado condicional a cada código de control de dominio, ayudando a comprender la comprensión específica del dominio del modelo.

• ¿Está disponible el código de entrenamiento para CTRL?

  Se planea lanzar el código de entrenamiento. Los usuarios pueden consultar las actualizaciones en el repositorio para obtener detalles sobre la disponibilidad del código de entrenamiento y los scripts de recopilación de datos.

• ¿Cuáles son los requisitos de hardware para ejecutar CTRL?

  Para la inferencia de GPU, se recomienda usar GPUs como K80/T4/P100. Hay disponible una rama de menor memoria que cuantiza ciertos pesos a fp16 para reducir el uso de memoria.

• ¿Bajo qué licencia se publica CTRL?

  El código se publica bajo la Licencia BSD-3, con pautas adicionales de uso ético proporcionadas por Salesforce.

• ¿Dónde puedo encontrar ejemplos de generaciones de CTRL?

  Se proporcionan ejemplos de generaciones y atribuciones de fuente en el archivo README del repositorio de GitHub, que demuestran varias funcionalidades de códigos de control.