Descrição
AliceAI-Foundation-80B-A3B-Base é um modelo de linguagem fundamental desenvolvido pela Yandex, hospedado no Hugging Face. Ele é projetado com uma arquitetura híbrida que incorpora camadas de Mistura de Especialistas (MoE) e possui um total de 80 bilhões de parâmetros, com 3 bilhões ativos para cada token. O modelo suporta um comprimento de contexto de até 262.144 tokens, tornando-o adequado para lidar com entradas de texto extensas.
Ler mais
O modelo foi treinado do zero, com um corpus de treinamento recém-montado e arquitetura e hiperparâmetros cuidadosamente selecionados. Ele é particularmente forte em tarefas que envolvem conhecimento factual na língua russa, superando modelos maiores de código aberto nessa área. O desempenho do modelo é validado por meio de benchmarks como WikiWebFacts e HardMultiQA, que se concentram em contextos russos.
AliceAI-Foundation-80B-A3B-Base é um modelo de linguagem autoregressivo, atualmente na fase de pré-treinamento. Ele possui um tamanho de estado oculto de 2048, um tamanho de vocabulário de 129.024 e consiste em 48 camadas. A arquitetura do modelo inclui 12 blocos de 3 KDA para camadas MoE seguidos por 1 camada de Atenção Gated para MoE.
As capacidades do modelo são demonstradas por meio de vários benchmarks, onde ele apresenta resultados competitivos em matemática, programação e tarefas de raciocínio. Ele é particularmente eficaz em tarefas de conhecimento factual em russo, como evidenciado por seu desempenho nos benchmarks WikiWebFacts e HardMultiQA.
AliceAI-Foundation-80B-A3B-Base está disponível para uso através da biblioteca Transformers, com uma versão de referência de 5.16.1. Ele também pode ser implantado usando vLLM, exigindo Docker e NVIDIA Container Toolkit para execução. O modelo está aberto para mais fine-tuning e adaptação a tarefas específicas, com suporte para fine-tuning LoRA fornecido no repositório.
Este modelo é destinado principalmente à pesquisa, experimentação e desenvolvimento adicional. Não é uma solução pronta para uso em produtos e serviços para o usuário final. Os usuários são aconselhados a realizar seus próprios testes e implementar as medidas de fine-tuning e controle necessárias antes de implantar o modelo em ambientes de produção.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de AliceAI-Foundation-80B-A3B-Base
80 bilhões de parâmetros
3 bilhões de parâmetros ativos por token
Arquitetura híbrida com camadas MoE
Suporta comprimento de contexto de até 262.144 tokens
Desempenho forte em tarefas de conhecimento factual em russo
Pré-treinado do zero
Disponível através do Transformers e vLLM
Suporta fine-tuning LoRA
Primeiros passos com AliceAI-Foundation-80B-A3B-Base
Acesse a página do modelo: Visite o Hugging Face
Autentique-se: Faça login na sua conta
Configure: Defina os parâmetros do modelo
Envie prompts: Insira suas consultas de texto
Ajuste: Adapte o modelo a tarefas específicas
Casos de uso de AliceAI-Foundation-80B-A3B-Base
- Recuperação de Conhecimento Factual
- Resolução de Problemas Matemáticos
- Assistência em Programação
- Compreensão de Linguagem
- Pesquisa e Desenvolvimento
