Descrição
Hy4 Preview é um modelo de ponta Mixture-of-Experts (MoE) desenvolvido pela equipe Hy da Tencent. Ele conta com um total de 770 bilhões de parâmetros, com 49 bilhões ativados por token. A arquitetura do modelo consiste em 78 camadas, utilizando uma combinação de camadas FFN densas e camadas MoE, cada uma contendo 256 especialistas roteados e um especialista compartilhado. Este design permite a ativação dos 8 principais especialistas roteados por token, aprimorando suas capacidades de processamento.
Ler mais
O modelo emprega Gated DeepSeek Sparse Attention (Gated DSA) com IndexCache para reutilização eficiente de índices esparsos entre camadas. Seu caminho residual utiliza Conexões Hiper-Identidade (iHC) para melhorar o fluxo de informações entre camadas. Hy4 Preview é escalado em termos de tamanho do modelo, comprimento do contexto e dados de treinamento, tornando-se um líder em modelos de IA de código aberto.
Hy4 Preview é projetado para se destacar em vários domínios, incluindo engenharia de software, onde auxilia na compreensão, planejamento, depuração e verificação de tarefas de longo prazo. No desenvolvimento de jogos, ele pode transformar um único prompt em um protótipo jogável, funcionando perfeitamente com motores de jogos. Para tarefas de escritório e análise, ele converte contextos confusos em artefatos compartilháveis, como documentos e planilhas. Na pesquisa científica, oferece fortes capacidades de raciocínio e resolução de problemas.
O modelo é de código aberto e está disponível em plataformas como Hugging Face, ModelScope, GitCode e CNB. Ele suporta implantação com vLLM ou SGLang e oferece um pipeline abrangente de ajuste fino do modelo. Hy4 Preview é lançado sob a Licença Apache 2.0, garantindo sua acessibilidade e adaptabilidade para várias aplicações.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de Hy4 Preview
Arquitetura Mixture-of-Experts
770 Bilhões de Parâmetros
Gated DeepSeek Sparse Attention
Conexões Hiper-Identidade
Código Aberto
Suporte a Ajuste Fino
Decodificação Especulativa
Disponível no Hugging Face
Primeiros passos com Hy4 Preview
Acesse a página do modelo: Visite a página oficial do Hugging Face
Autentique-se: Faça login ou crie uma conta
Configure: Defina os parâmetros e o ambiente do modelo
Envie prompts: Interaja com o modelo usando chamadas de API
Ajuste fino: Personalize o modelo para tarefas específicas
Casos de uso de Hy4 Preview
- Engenharia de Software
- Desenvolvimento de Jogos
- Análise de Escritório
- Pesquisa Científica
- Pesquisa em IA












