Descrição
Hy3 é um sofisticado modelo Mixture-of-Experts (MoE) desenvolvido pela equipe Hy da Tencent, apresentando 295 bilhões de parâmetros totais, com 21 bilhões de parâmetros ativos e 3,8 bilhões de parâmetros na camada MTP. Lançado após a prévia do Hy3, o modelo foi refinado com feedback de mais de 50 produtos e aprimorado após o treinamento com dados de alta qualidade. Hy3 supera modelos de tamanho semelhante e rivaliza com modelos de código aberto de ponta com 2 a 5 vezes mais parâmetros.
Ler mais
O modelo demonstra ganhos significativos de utilidade em várias tarefas de produtividade, incluindo programação, trabalho de escritório, modelagem financeira, design de frontend e desenvolvimento de jogos. É uma opção econômica para aqueles que buscam desempenho confiável nessas áreas. A arquitetura do Hy3 inclui 80 camadas, uma camada MTP, 64 cabeçotes de atenção e um tamanho oculto de 4096, suportando um comprimento de contexto de 256K e um tamanho de vocabulário de 120.832.
O desempenho do Hy3 não é totalmente capturado por benchmarks públicos, então uma avaliação cega com 270 especialistas foi realizada, onde ele obteve 2,67 de 4, superando o GLM-5.1. O modelo se destaca em desenvolvimento de frontend, dados e armazenamento, e tarefas de CI/CD. Melhorias em estabilidade, retenção de conhecimento e rastreamento de intenção em múltiplas interações foram feitas, reduzindo significativamente as taxas de alucinação e erros de senso comum.
Hy3 é de código aberto, com pesos do modelo disponíveis em plataformas como Hugging Face, ModelScope, GitCode e CNB. Ele suporta implantação com vLLM ou SGLang e oferece um pipeline abrangente de ajuste fino do modelo. O modelo é lançado sob a Licença Apache 2.0.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de Hy3
295B parâmetros totais
Arquitetura Mixture-of-Experts
21B parâmetros ativos
3.8B parâmetros na camada MTP
80 camadas excluindo MTP
64 cabeçotes de atenção
Comprimento de contexto de 256K
Tamanho do vocabulário de 120.832
Código aberto
Suporte a ajuste fino
Primeiros passos com Hy3
Acesse a página do modelo: Visite a página do Hy3 no Hugging Face
Autentique-se: Faça login na sua conta do Hugging Face
Configure: Defina os parâmetros e preferências do modelo
Envie prompts: Interaja com o modelo usando sua entrada
Ajuste fino: Ajuste o modelo para tarefas específicas
Casos de uso de Hy3
- Assistência de Programação
- Automação de Escritório
- Modelagem Financeira
- Design de Frontend
- Desenvolvimento de Jogos
