描述
Hy3是由腾讯Hy团队开发的复杂混合专家(MoE)模型,具有2950亿个总参数,其中210亿个为活跃参数,38亿个为MTP层参数。在Hy3预览版发布后,该模型经过50多个产品的反馈进行了优化,并在训练后使用高质量数据进行了增强。Hy3的性能超越了同类模型,并与参数多出2-5倍的旗舰开源模型相抗衡。
阅读更多
该模型在各种生产力任务中表现出显著的效用提升,包括编码、办公室工作、财务建模、前端设计和游戏开发。对于寻求在这些领域中获得可靠性能的用户来说,Hy3是一个具有成本效益的选择。Hy3的架构包括80层(不包括MTP层)、一个MTP层、64个注意力头和4096的隐藏层大小,支持256K的上下文长度和120,832的词汇大小。
Hy3的性能并未完全通过公共基准测试捕捉,因此进行了270名专家的盲评估,得分为2.67(满分4分),超越了GLM-5.1。该模型在前端开发、数据与存储以及CI/CD任务中表现出色。稳定性、知识保留和多轮意图跟踪方面的改进显著降低了幻觉率和常识错误。
Hy3是开源的,模型权重可在Hugging Face、ModelScope、GitCode和CNB等平台上获取。它支持使用vLLM或SGLang进行部署,并提供全面的模型微调管道。该模型根据Apache许可证2.0发布。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
Hy3亮点
295B总参数
混合专家架构
21B活跃参数
3.8B MTP层参数
80层(不包括MTP)
64个注意力头
256K的上下文长度
120,832的词汇大小
开源
支持微调
Hy3入门
访问模型页面:访问Hugging Face上的Hy3页面
身份验证:登录您的Hugging Face账户
配置:设置模型参数和偏好
发送提示:使用您的输入与模型互动
微调:调整模型以适应特定任务
Hy3的使用案例
- 编码辅助
- 办公室自动化
- 财务建模
- 前端设计
- 游戏开发











