描述
OpenELM 代表了 Apple Machine Learning Research 开发的开放语言模型领域的重大进展。该计划旨在促进大型语言模型 (LLM) 领域的复现性和透明度,这对于推进开放研究、确保可信度以及调查潜在的偏见和风险至关重要。
阅读更多
OpenELM 的核心采用了一种新颖的逐层缩放策略。这种方法有效地在 Transformer 架构的每一层内分配参数,从而显著提高了准确性。例如,在约十亿的参数预算下,OpenELM 在准确性上比 OLMo 提高了 2.36%,同时所需的预训练 token 数量减半。这种效率是一个关键的差异化因素,使得先进的语言模型更易于访问且训练更具可持续性。
OpenELM 项目不仅发布模型权重和推理代码,还为研究人员提供了一个全面的生态系统。这包括使用公开可用的数据集进行训练和评估的完整框架。用户可以访问训练日志、多个模型检查点和详细的预训练配置。这种透明度和可访问性旨在赋能开放研究社区并加速未来的创新。
此外,Apple 还发布了用于将 OpenELM 模型转换为 MLX 库的代码。这种集成使得在 Apple 设备上直接进行高效的推理和微调成为可能,从而拓宽了这些强大模型的可用性和实际应用范围。这一全面的发布突显了 Apple 对支持和加强全球开放研究社区的承诺。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台macOS
OpenELM 语言模型亮点
最先进的开放语言模型系列
逐层缩放策略,实现高效的参数分配
与现有模型(例如 OLMo)相比,准确性更高
减少了预训练 token 的需求
完整的训练和评估框架
包含训练日志和多个检查点
提供预训练配置
用于在 Apple 设备上集成 MLX 库的代码
支持在 Apple 硬件上进行推理和微调
专注于 LLM 研究的复现性和透明度
利用公开可用的数据集进行训练
开放的训练和推理框架
OpenELM 语言模型入门
访问模型:从提供的来源下载 OpenELM 模型权重和框架。
设置环境:使用必要的库和依赖项配置您的开发环境。
通过 MLX 集成:利用提供的代码将模型转换为可在 Apple 设备上进行推理和微调。
训练和评估:使用完整的框架和公共数据集进行自定义训练和性能评估。
微调模型:使用提供的工具和配置将 OpenELM 模型适应特定的下游任务。
OpenELM 语言模型的使用案例
- LLM 研究
- 模型训练
- 高效推理
- 偏见调查
- 开源 AI
- 参数分配






