Descrição
Gopher é um modelo de linguagem transformer com 280 bilhões de parâmetros da Google DeepMind, o maior em uma família de modelos que a equipe treinou, variando de 44 milhões a 280 bilhões de parâmetros. Foi introduzido em dezembro de 2021 juntamente com dois artigos complementares: um sobre os riscos éticos e sociais dos modelos de linguagem, e outro propondo o RETRO, uma arquitetura de treinamento aprimorada por recuperação.
Ler mais
A DeepMind treinou a família de modelos para estudar onde o aumento da escala ajuda o desempenho do modelo de linguagem e onde não ajuda. Gopher avançou significativamente em direção ao desempenho de especialistas humanos no benchmark Massive Multitask Language Understanding (MMLU) em comparação com trabalhos anteriores, e a pesquisa mostrou ganhos de escala em tarefas como compreensão de leitura, verificação de fatos e identificação de linguagem tóxica. No entanto, a escala não melhorou de forma significativa o desempenho em raciocínio lógico e tarefas de senso comum.
Além das pontuações de benchmark, a DeepMind explorou Gopher por meio de interação direta. Quando solicitado em um formato de diálogo, o modelo às vezes conseguia discutir tópicos como biologia celular com surpreendente coerência e uma citação correta, apesar de não ter ajuste fino específico para diálogos. A pesquisa também documentou modos de falha que persistiram em tamanhos de modelo: uma tendência a se repetir, refletir preconceitos estereotipados e afirmar informações incorretas com confiança injustificada.
O artigo complementar da publicação construiu uma taxonomia de riscos éticos e sociais dos modelos de linguagem, cobrindo seis áreas temáticas e 21 riscos em profundidade, destinado a ser uma base para avaliar e mitigar essas questões. O segundo artigo complementar introduziu o RETRO, que consulta trechos de texto durante a geração, reduzindo o custo de energia de treinamento e permitindo que as saídas sejam rastreadas até trechos de origem, enquanto iguala o desempenho de um transformer padrão muito maior com muito menos parâmetros.
Gopher é voltado para pesquisadores de IA que estudam escalabilidade, avaliação e segurança de modelos de linguagem. É uma publicação de pesquisa documentada por meio do post no blog da DeepMind e artigos, em vez de um produto com uma API pública ou pesos para download, e a DeepMind usou posteriormente o custo de computação do treinamento do Gopher como ponto de referência para desenvolver seu sucessor mais eficiente em dados, Chinchilla.
- CategoriaModelos de IA e LLMs
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de Gopher
Modelo de linguagem transformer com 280 bilhões de parâmetros, parte de uma família de 44 milhões a 280 bilhões de parâmetros
Avanços no desempenho no benchmark Massive Multitask Language Understanding (MMLU)
Avaliado em benchmarks incluindo compreensão de leitura, verificação de fatos e identificação de linguagem tóxica
Pode sustentar diálogos coerentes e citados sobre tópicos técnicos sem ajuste fino específico para diálogos
Modos de falha documentados em tamanhos de modelo: repetição, preconceito estereotipado e desinformação afirmada com confiança
Lançado com uma taxonomia de riscos éticos e sociais em modelos de linguagem, cobrindo 21 riscos em seis temas
Companheiro do RETRO, uma arquitetura aprimorada por recuperação com menor custo de energia de treinamento
Primeiros passos com Gopher
Leia o post de lançamento: Comece com o post no blog da DeepMind que apresenta o Gopher e seus dois artigos complementares.
Revise os resultados do benchmark: Verifique as pontuações do Gopher no MMLU, compreensão de leitura e tarefas de linguagem tóxica em comparação com modelos menores da família.
Leia a taxonomia de riscos: Revise o artigo complementar sobre riscos éticos e sociais para entender os modos de falha documentados.
Compare com o RETRO: Leia sobre a arquitetura aprimorada por recuperação lançada juntamente com o Gopher.
Casos de uso de Gopher
- Pesquisa de escala de modelo
- Avaliação de risco de modelo de linguagem
- Modelagem aumentada por recuperação
