跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

OPT-175B

OPT-175B 是 Meta AI 发布的一个拥有 1750 亿参数的语言模型,面向研究社区。它提供了对大规模语言模型的访问,从而能够更深入地理解和推进自然语言处理(NLP)研究,并专注于负责任的开发和减轻偏见。

查看模型
分享
查看模型
分享

Meta AI 通过发布 OPT-175B(一个在公开可用数据集上训练的 1750 亿参数模型)来普及大规模语言模型的访问。这项举措旨在促进更广泛的社区参与,以理解基础性新人工智能技术,打破以往仅限于资源雄厚实验室的有限访问模式。通过提供预训练模型和必要的训练代码,OPT-175B 使全球的学术研究人员、公民社会、政策制定者和行业研究实验室能够进行可复现的研究并共同推进该领域。

阅读更多

此次发布以对开放科学和负责任的 AI 开发的承诺为基础。Meta AI 正在分享开发过程的详细文档,包括日常训练、计算使用和人力开销的完整日志。这种透明度使其他研究人员能够在此基础上进行工作,并使用共享模型上的可量化指标来分析潜在的危害。OPT-175B 使用 Meta 的开源 Fully Sharded Data Parallel (FSDP) API 和 NVIDIA 在 Megatron-LM 中的张量并行抽象进行训练,实现了显著的能源效率,碳足迹仅为 GPT-3 的 1/7。

除了 OPT-175B,Meta AI 还发布了一系列规模较小的基线模型,这些模型在相同数据上使用相似的设置进行训练,以促进对规模效应的研究。这些模型包括参数量从 1.25 亿到 300 亿不等的模型。此次发布受非商业许可的约束,优先考虑研究用例,并旨在防止滥用。通过增加参与定义伦理考量声音的多样性,Meta AI 希望推动负责任的 AI 开发进展,并为大型语言模型建立明确的指导方针。

这种开放的合作对于人工智能研究的进步至关重要,它使科学界能够探索前沿模型的潜力,同时探测其脆弱性。OPT-175B 及其相关资源的发布旨在将更多视角带到大型语言模型创建的前沿,协助设计负责任的发布策略,并为该领域带来前所未有的透明度。

  • 类别AI 模型与大语言模型
  • 定价模式开源
  • 部署云端
  • 平台网页版

  • 1750 亿参数

  • 在公开可用数据集上训练

  • 包含预训练模型和训练代码

  • 用于研究的非商业许可

  • 授予学术研究人员及相关组织访问权限

  • 详细的开发过程文档

  • 训练过程完整日志

  • 用于危害分析的可量化指标

  • 高能效训练方法

  • 发布了一系列规模较小的基线模型

  • 促进可复现的研究

  • 推动负责任的 AI 开发

  • 增强 LLM 开发的透明度

  1. 申请访问:提交 OPT-175B 的访问申请。

  2. 下载代码:访问用于训练和部署的开源代码。

  3. 获取模型:下载规模较小的基线模型。

  4. 设置环境:使用必要的库准备您的研究环境。

  5. 集成模型:加载并利用 OPT-175B 模型进行研究任务。

  6. 分析结果:进行实验并分析模型行为和输出。

  7. 贡献研究:分享发现并为更广泛的 AI 社区做出贡献。

  • NLP 研究
  • 偏见缓解
  • 模型可解释性
  • 负责任的 AI
  • 可复现科学
  • 文本生成
  • AI 伦理

与 OPT-175B 类似的热门AI工具

Pythia

AI 平台

EleutherAI 是一个专注于推进人工智能的研究集体,尤其是在大型语言模型领域。他们的目标是通过使强大的模型和研究能够公开获取来普及人工智能。他们的工作包括为研究社区开发和发布开源人工智能模型和工具。

其他 AI 工具
查看工具

AI 平台

EleutherAI 是一个专注于推进人工智能的研究集体,尤其是在大型语言模型领域。他们的目标是通过使强大的模型和研究能够公开获取来普及人工智能。他们的工作包括为研究社区开发和发布开源人工智能模型和工具。

其他 AI 工具
查看 AI 平台 Top 150

Phi-2 是来自微软研究院的一个拥有 27 亿参数的语言模型。它展现了出色的推理和语言理解能力,在 130 亿参数以下的模型中取得了最先进的性能。在复杂的基准测试中,Phi-2 的表现与模型大小高出 25 倍的模型相当或更优,是研究和实验的理想选择。

AI 模型与大语言模型
查看工具

来自微软研究院的一个拥有 27 亿参数的语言模型。它展现了出色的推理和语言理解能力,在 130 亿参数以下的模型中取得了最先进的性能。在复杂的基准测试中,Phi-2 的表现与模型大小高出 25 倍的模型相当或更优,是研究和实验的理想选择。Phi-2 是来自微软研究院的一个拥有 27 亿参数的语言模型。它展现了出色的推理和语言理解能力,在 130 亿参数以下的模型中取得了最先进的性能。在复杂的基准测试中,Phi-2 的表现与模型大小高出 25 倍的模型相当或更优,是研究和实验的理想选择。

AI 模型与大语言模型
查看 AI 模型 Top 5

Gopher

AI 模型

Gopher 是来自 Google DeepMind 的一个拥有 2800 亿参数的变换器语言模型,属于一个参数范围从 4400 万到 2800 亿的模型家族。该模型在 2021 年的研究发布中介绍,评估了阅读理解、事实核查和有毒语言识别等任务,在某些任务上因规模而获益,而在其他任务上则未能如愿,例如逻辑推理。

AI 模型与大语言模型
查看工具

AI 模型

来自 Google DeepMind 的一个拥有 2800 亿参数的变换器语言模型,属于一个参数范围从 4400 万到 2800 亿的模型家族。该模型在 2021 年的研究发布中介绍,评估了阅读理解、事实核查和有毒语言识别等任务,在某些任务上因规模而获益,而在其他任务上则未能如愿,例如逻辑推理。Gopher 是来自 Google DeepMind 的一个拥有 2800 亿参数的变换器语言模型,属于一个参数范围从 4400 万到 2800 亿的模型家族。该模型在 2021 年的研究发布中介绍,评估了阅读理解、事实核查和有毒语言识别等任务,在某些任务上因规模而获益,而在其他任务上则未能如愿,例如逻辑推理。

AI 模型与大语言模型
查看 AI 模型 Top 5

SciBERT

AI 应用

艾伦人工智能研究所(AI2)是一个非营利性研究机构,致力于开展高影响力的人工智能研究和工程。他们专注于为共同利益推进人工智能,开发基础模型,并创建赋能研究人员和开发人员的工具。他们的工作涵盖了各种人工智能领域,旨在使人工智能更易于访问和更有益。

AI 模型与大语言模型
查看工具

AI 应用

艾伦人工智能研究所(AI2)是一个非营利性研究机构,致力于开展高影响力的人工智能研究和工程。他们专注于为共同利益推进人工智能,开发基础模型,并创建赋能研究人员和开发人员的工具。他们的工作涵盖了各种人工智能领域,旨在使人工智能更易于访问和更有益。

AI 模型与大语言模型
查看 AI 应用 Top 250

Nous Research

AI 应用

Nous Research 是美国开源人工智能运动的领导者,专注于训练开源语言模型并构建无偏见训练的基础设施。他们对开发的承诺增强了人工智能在各种应用中的能力。

AI 模型与大语言模型
查看工具

AI 应用

美国开源人工智能运动的领导者,专注于训练开源语言模型并构建无偏见训练的基础设施。他们对开发的承诺增强了人工智能在各种应用中的能力。Nous Research 是美国开源人工智能运动的领导者,专注于训练开源语言模型并构建无偏见训练的基础设施。他们对开发的承诺增强了人工智能在各种应用中的能力。

AI 模型与大语言模型
查看 AI 应用 Top 250

Chinchilla

AI 模型

Chinchilla 是来自 Google DeepMind 的一个 700 亿参数的语言模型,训练于 1.3 万亿个标记,旨在测试一个在更多数据上训练的小模型是否能超越一个更大的模型。它使用与 DeepMind 的 280 亿参数 Gopher 相同的训练计算,几乎在所有测试的基准上都超越了 Gopher 和其他大型模型。

AI 模型与大语言模型
查看工具

AI 模型

来自 Google DeepMind 的一个 700 亿参数的语言模型,训练于 1.3 万亿个标记,旨在测试一个在更多数据上训练的小模型是否能超越一个更大的模型。它使用与 DeepMind 的 280 亿参数 Gopher 相同的训练计算,几乎在所有测试的基准上都超越了 Gopher 和其他大型模型。Chinchilla 是来自 Google DeepMind 的一个 700 亿参数的语言模型,训练于 1.3 万亿个标记,旨在测试一个在更多数据上训练的小模型是否能超越一个更大的模型。它使用与 DeepMind 的 280 亿参数 Gopher 相同的训练计算,几乎在所有测试的基准上都超越了 Gopher 和其他大型模型。

AI 模型与大语言模型
查看 AI 模型 Top 5

OpenELM 是来自 Apple Machine Learning Research 的最先进的开放语言模型系列。它采用逐层缩放策略以提高准确性,并提供了一个完整的框架,用于在包括日志和检查点在内的公共数据集上进行训练和评估。该发布还包括在 Apple 设备上集成 MLX 的代码。

AI 模型与大语言模型
查看工具

来自 Apple Machine Learning Research 的最先进的开放语言模型系列。它采用逐层缩放策略以提高准确性,并提供了一个完整的框架,用于在包括日志和检查点在内的公共数据集上进行训练和评估。该发布还包括在 Apple 设备上集成 MLX 的代码。OpenELM 是来自 Apple Machine Learning Research 的最先进的开放语言模型系列。它采用逐层缩放策略以提高准确性,并提供了一个完整的框架,用于在包括日志和检查点在内的公共数据集上进行训练和评估。该发布还包括在 Apple 设备上集成 MLX 的代码。

AI 模型与大语言模型
查看 AI 模型 Top 5

ModelScope

AI 应用

一个开源模型社区和平台,用于探索、运行、微调和部署AI模型和数据集,提供Python库和托管工作室以构建AI应用程序。

机器学习平台

微调AI模型 排名第 32 位

查看工具

AI 应用

一个开源模型社区和平台,用于探索、运行、微调和部署AI模型和数据集,提供Python库和托管工作室以构建AI应用程序。

机器学习平台
微调AI模型 排名第 32 位
1/8