描述
LiquidAI LFM2.5-2.6B 是 LFM2.5 系列的一部分,这是一系列为设备部署而设计的混合模型。基于 LFM2 架构,它具有 128K 的上下文窗口和智能后训练,使其在工具使用、指令跟随和多步骤智能任务方面与四倍于其规模的模型竞争。该模型采用智能强化学习进行训练,增强了其与流行智能工具的兼容性。
阅读更多
该模型具有高效的推理能力,在 Apple M5 Max 上每秒可处理 220 个标记,在 AMD Ryzen CPU 上每秒可处理 113 个标记,内存占用低于 2.5 GB。它是一个通用的文本模型,具有 26.9 亿个参数、30 层和 128,000 的词汇量。该模型支持多种语言,包括英语、阿拉伯语、中文、法语等。
LFM2.5-2.6B 提供多种格式,如用于微调的基础模型、用于 CPU 推理的量化格式以及用于跨平台部署的 ONNX Runtime 格式。它针对 Apple Silicon 进行了快速推理优化,并支持推测解码以实现更快的输出。
该模型推荐用于智能工作负载、工具使用、数据提取和长上下文工作流,尽管它不适合智能编码和知识密集型任务。它支持在智能工作流中调用功能,允许与现有系统无缝集成。鼓励进行微调以实现特定用例的最佳结果。
LFM2.5-2.6B 已与其他小于 10B 的模型进行了基准测试,展示了在各种指标上的竞争性能。其高效的架构允许快速的 CPU 和 GPU 推理,使其适用于广泛的应用。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端, 自托管
- 平台网页版, macOS, Windows
LiquidAI LFM2.5-2.6B亮点
用于设备部署的混合模型
128K 上下文窗口
智能后训练
高效推理
26.9 亿个参数
支持多种语言
提供多种格式
针对 Apple Silicon 进行了优化
LiquidAI LFM2.5-2.6B入门
访问模型页面:访问 Hugging Face 网站
身份验证:登录到您的 Hugging Face 账户
配置:为您的特定用例设置模型
发送提示:使用模型进行推理或智能工作流
LiquidAI LFM2.5-2.6B的使用案例
- 智能工作流
- 数据提取
- 工具使用
- 长上下文任务
- 跨平台部署








