Descripción
Gopher es un modelo de lenguaje transformer de 280 mil millones de parámetros de Google DeepMind, el más grande de una familia de modelos que el equipo entrenó, que abarca desde 44 millones hasta 280 mil millones de parámetros. Fue introducido en diciembre de 2021 junto con dos documentos complementarios: uno sobre los riesgos éticos y sociales de los modelos de lenguaje, y otro que propone RETRO, una arquitectura de entrenamiento mejorada por recuperación.
Leer más
DeepMind entrenó la familia de modelos para estudiar dónde el aumento de la escala ayuda al rendimiento del modelo de lenguaje y dónde no. Gopher avanzó significativamente hacia el rendimiento de expertos humanos en el benchmark de Comprensión de Lenguaje Multitarea Masiva (MMLU) en comparación con trabajos anteriores, y la investigación mostró ganancias de escala en tareas como comprensión lectora, verificación de hechos e identificación de lenguaje tóxico. Sin embargo, la escala no mejoró de manera significativa el rendimiento en tareas de razonamiento lógico y sentido común.
Más allá de las puntuaciones de los benchmarks, DeepMind exploró Gopher a través de la interacción directa. Cuando se le solicitó en un formato de diálogo, el modelo a veces podía discutir temas como la biología celular con sorprendente coherencia y una cita correcta, a pesar de no tener un ajuste fino específico para el diálogo. La investigación también documentó modos de falla que persistieron a través de los tamaños del modelo: una tendencia a repetirse, reflejar sesgos estereotipados y afirmar información incorrecta con confianza injustificada.
El documento complementario de la publicación construyó una taxonomía de riesgos éticos y sociales de los modelos de lenguaje, cubriendo seis áreas temáticas y 21 riesgos en profundidad, destinado a ser una base para evaluar y mitigar estos problemas. El segundo documento complementario introdujo RETRO, que consulta pasajes de texto durante la generación, reduciendo el costo energético de entrenamiento y permitiendo que las salidas se rastreen hasta los pasajes fuente, mientras iguala el rendimiento de un transformador estándar mucho más grande con muchos menos parámetros.
Gopher está dirigido a investigadores de IA que estudian la escalabilidad, evaluación y seguridad de los modelos de lenguaje. Es una publicación de investigación documentada a través de la publicación del blog de DeepMind y documentos en lugar de un producto con una API pública o pesos descargables, y DeepMind utilizó más tarde el costo de computación del entrenamiento de Gopher como punto de referencia para desarrollar su sucesor más eficiente en datos, Chinchilla.
- CategoríaModelos de IA y LLM
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de Gopher
Modelo de lenguaje transformer de 280 mil millones de parámetros, parte de una familia de 44 millones a 280 mil millones de parámetros
Avances en el rendimiento en el benchmark de Comprensión de Lenguaje Multitarea Masiva (MMLU)
Evaluado en benchmarks que incluyen comprensión lectora, verificación de hechos e identificación de lenguaje tóxico
Puede mantener un diálogo coherente y citado sobre temas técnicos sin ajuste fino específico para el diálogo
Modos de falla documentados en todos los tamaños de modelo: repetición, sesgo estereotipado y desinformación afirmada con confianza
Publicado con una taxonomía de riesgos éticos y sociales en modelos de lenguaje, cubriendo 21 riesgos en seis temas
Complemento de RETRO, una arquitectura mejorada por recuperación con menor costo energético de entrenamiento
Primeros pasos con Gopher
Lee la publicación de lanzamiento: Comienza con la publicación del blog de DeepMind que presenta Gopher y sus dos documentos complementarios.
Revisa los resultados de los benchmarks: Verifica las puntuaciones de Gopher en MMLU, comprensión lectora y tareas de lenguaje tóxico en comparación con modelos más pequeños de la familia.
Lee la taxonomía de riesgos: Revisa el documento complementario sobre riesgos éticos y sociales para entender los modos de falla documentados.
Compara con RETRO: Lee sobre la arquitectura mejorada por recuperación publicada junto con Gopher.
Casos de uso de Gopher
- Investigación sobre la escala del modelo
- Evaluación de riesgos de modelos de lenguaje
- Modelado aumentado por recuperación
