描述
Nebius Token Factory 是 Nebius AI Cloud 的一部分，Nebius 是一家上市的 (NBIS) AI 基础设施公司，面向开发者。它通过与 OpenAI 兼容的 API 提供开源语言模型，因此现有针对 OpenAI 客户端库编写的代码可以在最小更改的情况下指向 Token Factory。Nebius 将该产品描述为涵盖实时和批量推理、专用端点和生产服务水平协议 (SLA)，使其适用于超越早期实验的工作负载。
阅读更多
该服务涵盖快速启动和生产工作负载。开发者可以直接调用 API，在游乐场中测试提示，或通过支持的集成（如 LiteLLM 和 Aisuite、LlamaIndex 和 LangChain 框架，以及 Agno 和 CrewAI 代理库）将其连接到现有工具中。对于已经过原型阶段的团队，Token Factory 增加了专用端点、具有缓存感知路由的自动扩展和批量推理，以处理超出实时限制的大量请求。
除了按原样提供预训练模型外，Token Factory 还支持后训练和自定义：团队可以在自己的数据上微调开放模型，并通过相同的基础设施部署生成的自定义模型。Nebius 提供技术文档和博客文章，涵盖架构主题，例如为什么大型专家混合模型会影响延迟预算、推测解码如何改变生产服务，以及路由设计如何影响在负载下扩展与停滞之间的差异。
Token Factory 旨在为构建在开放模型上的开发者和 AI 团队服务，而不是封闭的专有 API。它与 Nebius 更广泛的 AI Cloud 一起使用，后者为希望训练或运行自己的自定义堆栈的团队提供 GPU 虚拟机和集群，而不是使用托管推理。Nebius 还运行一个 Builder Program，提供积分和支持、带可运行示例的食谱、社区办公时间以及一个 Discord 频道，供在该平台上构建的人们使用，还有 YouTube 播放列表，介绍 Token Factory 的架构和基于其构建的社区项目。
Token Factory 推理的具体定价未在页面上发布；Nebius 更广泛的 AI Cloud 定价基于使用情况，并单独涵盖用于训练和托管的 GPU 实例，与 Token Factory 的托管推理分开。
- 类别MLOps 与模型部署
- 定价模式免费增值
- 部署云端
- 平台网页版
Nebius Token Factory的核心功能
与 OpenAI 兼容的 API，用于提供开源模型
用于交互式应用的实时推理
用于高容量非交互式工作负载的批量推理
具有自动扩展和缓存感知路由的专用端点
支持后训练和微调以自定义开放模型
与 LiteLLM、Aisuite、LlamaIndex 和 LangChain 的集成
通过 Agno、CrewAI 和 Pydantic 的代理框架支持
用于在集成之前测试模型的交互式游乐场
如何使用 Nebius Token Factory？
注册：创建一个 Token Factory 账户以获取 API 访问权限
获取 API 密钥：从 Token Factory 仪表板生成凭据
在游乐场中测试：尝试提示并在编写代码之前比较开放模型
调用 API：将现有的与 OpenAI 兼容的客户端代码指向 Token Factory 端点
扩展：随着请求量的增长，转向专用端点或批量推理
自定义：使用后训练工具在自己的数据上微调模型
Nebius Token Factory的使用案例
- 使用开放模型进行原型设计
- 大规模生产推理
- 批量数据处理
- 自定义模型部署
