跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

OpenELM 语言模型

OpenELM 是来自 Apple Machine Learning Research 的最先进的开放语言模型系列。它采用逐层缩放策略以提高准确性,并提供了一个完整的框架,用于在包括日志和检查点在内的公共数据集上进行训练和评估。该发布还包括在 Apple 设备上集成 MLX 的代码。

查看模型
分享
查看模型
分享

OpenELM 代表了 Apple Machine Learning Research 开发的开放语言模型领域的重大进展。该计划旨在促进大型语言模型 (LLM) 领域的复现性和透明度,这对于推进开放研究、确保可信度以及调查潜在的偏见和风险至关重要。

阅读更多

OpenELM 的核心采用了一种新颖的逐层缩放策略。这种方法有效地在 Transformer 架构的每一层内分配参数,从而显著提高了准确性。例如,在约十亿的参数预算下,OpenELM 在准确性上比 OLMo 提高了 2.36%,同时所需的预训练 token 数量减半。这种效率是一个关键的差异化因素,使得先进的语言模型更易于访问且训练更具可持续性。

OpenELM 项目不仅发布模型权重和推理代码,还为研究人员提供了一个全面的生态系统。这包括使用公开可用的数据集进行训练和评估的完整框架。用户可以访问训练日志、多个模型检查点和详细的预训练配置。这种透明度和可访问性旨在赋能开放研究社区并加速未来的创新。

此外,Apple 还发布了用于将 OpenELM 模型转换为 MLX 库的代码。这种集成使得在 Apple 设备上直接进行高效的推理和微调成为可能,从而拓宽了这些强大模型的可用性和实际应用范围。这一全面的发布突显了 Apple 对支持和加强全球开放研究社区的承诺。

  • 类别AI 模型与大语言模型
  • 定价模式开源
  • 部署云端
  • 平台macOS

  • 最先进的开放语言模型系列

  • 逐层缩放策略,实现高效的参数分配

  • 与现有模型(例如 OLMo)相比,准确性更高

  • 减少了预训练 token 的需求

  • 完整的训练和评估框架

  • 包含训练日志和多个检查点

  • 提供预训练配置

  • 用于在 Apple 设备上集成 MLX 库的代码

  • 支持在 Apple 硬件上进行推理和微调

  • 专注于 LLM 研究的复现性和透明度

  • 利用公开可用的数据集进行训练

  • 开放的训练和推理框架

  1. 访问模型:从提供的来源下载 OpenELM 模型权重和框架。

  2. 设置环境:使用必要的库和依赖项配置您的开发环境。

  3. 通过 MLX 集成:利用提供的代码将模型转换为可在 Apple 设备上进行推理和微调。

  4. 训练和评估:使用完整的框架和公共数据集进行自定义训练和性能评估。

  5. 微调模型:使用提供的工具和配置将 OpenELM 模型适应特定的下游任务。

  • LLM 研究
  • 模型训练
  • 高效推理
  • 偏见调查
  • 开源 AI
  • 参数分配

Apple 旗下产品

OpenELM 语言模型 评价

加载中...

与 OpenELM 语言模型 类似的热门AI工具

OpenLLaMA

AI GitHub 仓库

OpenLLaMA 是 Meta AI 的 LLaMA 7B 模型的一个允许自由许可的开源复现版本。它在 RedPajama 数据集上进行训练,提供 3B、7B 和 13B 参数版本,并提供 PyTorch 和 JAX 权重,可无缝集成到现有的 LLaMA 实现中。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

Meta AI 的 LLaMA 7B 模型的一个允许自由许可的开源复现版本。它在 RedPajama 数据集上进行训练,提供 3B、7B 和 13B 参数版本,并提供 PyTorch 和 JAX 权重,可无缝集成到现有的 LLaMA 实现中。OpenLLaMA 是 Meta AI 的 LLaMA 7B 模型的一个允许自由许可的开源复现版本。它在 RedPajama 数据集上进行训练,提供 3B、7B 和 13B 参数版本,并提供 PyTorch 和 JAX 权重,可无缝集成到现有的 LLaMA 实现中。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

OpenRouter

AI 平台

OpenRouter 提供统一的 API 接口,可访问来自多个提供商的海量大型语言模型 (LLM)。它提供有竞争力的价格、通过分布式基础设施实现的高可用性以及自定义数据策略,使开发人员能够高效地集成各种 AI 模型,而不会被供应商锁定。

AI 模型与大语言模型
查看工具

AI 平台

提供统一的 API 接口,可访问来自多个提供商的海量大型语言模型 (LLM)。它提供有竞争力的价格、通过分布式基础设施实现的高可用性以及自定义数据策略,使开发人员能够高效地集成各种 AI 模型,而不会被供应商锁定。OpenRouter 提供统一的 API 接口,可访问来自多个提供商的海量大型语言模型 (LLM)。它提供有竞争力的价格、通过分布式基础设施实现的高可用性以及自定义数据策略,使开发人员能够高效地集成各种 AI 模型,而不会被供应商锁定。

精选AI 模型与大语言模型
查看 AI 平台 Top 150

Olmo来自Ai2

大语言模型

Olmo来自Ai2是一个完全开放的语言模型,旨在用于先进的人工智能研究和应用。它提供了多种针对编程、推理和对话优化的模型变体,确保开发者和研究人员的透明性和可访问性。

AI 模型与大语言模型
查看工具

大语言模型

完全开放的语言模型,旨在用于先进的人工智能研究和应用。它提供了多种针对编程、推理和对话优化的模型变体,确保开发者和研究人员的透明性和可访问性。Olmo来自Ai2是一个完全开放的语言模型,旨在用于先进的人工智能研究和应用。它提供了多种针对编程、推理和对话优化的模型变体,确保开发者和研究人员的透明性和可访问性。

精选AI 模型与大语言模型
查看 大语言模型 Top 50

ModelScope

AI 应用

一个开源模型社区和平台,用于探索、运行、微调和部署AI模型和数据集,提供Python库和托管工作室以构建AI应用程序。

机器学习平台

微调AI模型 排名第 32 位

查看工具

AI 应用

一个开源模型社区和平台,用于探索、运行、微调和部署AI模型和数据集,提供Python库和托管工作室以构建AI应用程序。

机器学习平台
微调AI模型 排名第 32 位

RWKV 是一个强大的语言模型,提供高效的推理和灵活的微调能力。它支持各种应用,包括桌面 GUI、基于 Web 的推理和移动应用,使先进的 AI 能够跨多个平台和设备用于各种任务。

AI 模型与大语言模型
查看工具

强大的语言模型,提供高效的推理和灵活的微调能力。它支持各种应用,包括桌面 GUI、基于 Web 的推理和移动应用,使先进的 AI 能够跨多个平台和设备用于各种任务。RWKV 是一个强大的语言模型,提供高效的推理和灵活的微调能力。它支持各种应用,包括桌面 GUI、基于 Web 的推理和移动应用,使先进的 AI 能够跨多个平台和设备用于各种任务。

AI 模型与大语言模型
查看 AI 模型 Top 5

Phi-2 是来自微软研究院的一个拥有 27 亿参数的语言模型。它展现了出色的推理和语言理解能力,在 130 亿参数以下的模型中取得了最先进的性能。在复杂的基准测试中,Phi-2 的表现与模型大小高出 25 倍的模型相当或更优,是研究和实验的理想选择。

AI 模型与大语言模型
查看工具

来自微软研究院的一个拥有 27 亿参数的语言模型。它展现了出色的推理和语言理解能力,在 130 亿参数以下的模型中取得了最先进的性能。在复杂的基准测试中,Phi-2 的表现与模型大小高出 25 倍的模型相当或更优,是研究和实验的理想选择。Phi-2 是来自微软研究院的一个拥有 27 亿参数的语言模型。它展现了出色的推理和语言理解能力,在 130 亿参数以下的模型中取得了最先进的性能。在复杂的基准测试中,Phi-2 的表现与模型大小高出 25 倍的模型相当或更优,是研究和实验的理想选择。

AI 模型与大语言模型
查看 AI 模型 Top 5

OPT-175B

AI 模型

OPT-175B 是 Meta AI 发布的一个拥有 1750 亿参数的语言模型,面向研究社区。它提供了对大规模语言模型的访问,从而能够更深入地理解和推进自然语言处理(NLP)研究,并专注于负责任的开发和减轻偏见。

AI 模型与大语言模型
查看工具

AI 模型

Meta AI 发布的一个拥有 1750 亿参数的语言模型,面向研究社区。它提供了对大规模语言模型的访问,从而能够更深入地理解和推进自然语言处理(NLP)研究,并专注于负责任的开发和减轻偏见。OPT-175B 是 Meta AI 发布的一个拥有 1750 亿参数的语言模型,面向研究社区。它提供了对大规模语言模型的访问,从而能够更深入地理解和推进自然语言处理(NLP)研究,并专注于负责任的开发和减轻偏见。

AI 模型与大语言模型
查看 AI 模型 Top 5

IDEFICS 是一个开放访问的视觉语言模型,能够复现最先进的性能。它接受交错的图像和文本输入,生成文本输出,其能力可与 Flamingo 等专有模型相媲美。提供 9B 和 80B 参数版本,支持多模态 AI 的研究和开发。

AI 模型与大语言模型
查看工具

开放访问的视觉语言模型,能够复现最先进的性能。它接受交错的图像和文本输入,生成文本输出,其能力可与 Flamingo 等专有模型相媲美。提供 9B 和 80B 参数版本,支持多模态 AI 的研究和开发。IDEFICS 是一个开放访问的视觉语言模型,能够复现最先进的性能。它接受交错的图像和文本输入,生成文本输出,其能力可与 Flamingo 等专有模型相媲美。提供 9B 和 80B 参数版本,支持多模态 AI 的研究和开发。

AI 模型与大语言模型
查看 AI 模型 Top 5
1/8