描述
Hy4 预览是腾讯 Hy 团队开发的前沿专家混合(MoE)模型。它总共有7700亿个参数,每个令牌激活49亿个参数。该模型的架构由78层组成,结合了密集的前馈网络(FFN)和专家混合层,每层包含256个路由专家和一个共享专家。这种设计允许每个令牌激活前8个路由专家,从而增强其处理能力。
阅读更多
该模型采用带索引缓存的门控深度稀疏注意力(Gated DSA),以实现高效的跨层稀疏索引重用。其残差路径使用身份超连接(iHC)来改善层间信息流动。Hy4 预览在模型规模、上下文长度和训练数据方面进行了扩展,使其成为开源 AI 模型的领导者。
Hy4 预览旨在在多个领域中表现出色,包括软件工程,在该领域中,它有助于理解、规划、调试和验证长期任务。在游戏开发中,它可以将单个提示转换为可玩的原型,并与游戏引擎无缝协作。对于办公室和分析任务,它将杂乱的上下文转换为可共享的文档和电子表格。在科学研究中,它提供强大的推理和问题解决能力。
该模型是开源的,并可在 Hugging Face、ModelScope、GitCode 和 CNB 等平台上获得。它支持使用 vLLM 或 SGLang 部署,并提供全面的模型微调管道。Hy4 预览根据 Apache 许可证 2.0 发布,确保其在各种应用中的可访问性和适应性。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
Hy4 预览亮点
专家混合架构
7700亿个参数
门控深度稀疏注意力
身份超连接
开源
微调支持
推测解码
在 Hugging Face 上可用
Hy4 预览入门
访问模型页面:访问官方 Hugging Face 页面
身份验证:登录或创建账户
配置:设置模型参数和环境
发送提示:使用 API 调用与模型交互
微调:为特定任务定制模型
Hy4 预览的使用案例
- 软件工程
- 游戏开发
- 办公室分析
- 科学研究
- AI 研究












