説明
Nebiusトークンファクトリーは、上場企業（NBIS）であるNebiusの開発者向け部門であるNebius AI Cloudの一部です。OpenAI互換APIを通じてオープンソース言語モデルを提供し、既存のOpenAIクライアントライブラリに対して書かれたコードは、最小限の変更でトークンファクトリーを指すことができます。Nebiusは、この製品がリアルタイムおよびバッチ推論、専用エンドポイント、そして生産SLAsをカバーしていると説明しており、初期の実験を超えたワークロードに対応するように位置付けています。
続きを読む
このサービスは、クイックスタートと生産ワークロードの両方をカバーしています。開発者はAPIを直接呼び出したり、プレイグラウンドでプロンプトをテストしたり、LiteLLMやAisuiteなどのサポートされている統合を通じて既存のツールに接続したりできます。また、LlamaIndexやLangChainなどのフレームワーク、AgnoやCrewAIなどのエージェントライブラリもサポートされています。プロトタイプ段階を過ぎたチームのために、トークンファクトリーは専用エンドポイント、自動スケーリングとキャッシュ対応ルーティング、リアルタイム制約外での大量リクエスト処理のためのバッチ推論を追加します。
事前トレーニングされたモデルをそのまま提供するだけでなく、トークンファクトリーはトレーニング後のカスタマイズもサポートしています。チームは自分たちのデータでオープンモデルをファインチューニングし、その結果得られたカスタムモデルを同じインフラストラクチャを通じて展開できます。Nebiusは、なぜ大規模な専門家混合モデルがレイテンシ予算を圧迫するのか、推測デコーディングが生産提供にどのように影響するのか、ルーティング設計が負荷の下でのスケーリングと停止の違いにどのように影響するのかといったアーキテクチャに関する技術文書やブログ投稿を提供しています。
トークンファクトリーは、クローズドなプロプライエタリAPIではなく、オープンモデルに基づいて構築する開発者やAIチームを対象としています。これは、管理された推論を使用するのではなく、自分たちのカスタムスタックをトレーニングまたは実行したいチームのためにGPU仮想マシンやクラスターを提供するNebiusの広範なAI Cloudとともに位置付けられています。Nebiusはまた、クレジットとサポートを提供するビルダープログラムを運営しており、実行可能な例を含むクックブック、プラットフォーム上で構築している人々のためのコミュニティオフィスアワー、Discord、トークンファクトリーのアーキテクチャやその上に構築されたコミュニティプロジェクトを紹介するYouTubeプレイリストを提供しています。
トークンファクトリーの推論に関する具体的な価格はページ上には公開されていません。Nebiusの広範なAI Cloudの価格は使用量に基づいており、トレーニングおよびホスティングに使用されるGPUインスタンスはトークンファクトリーの管理された推論とは別にカバーされています。
- カテゴリーMLOps・モデルデプロイ
- 料金モデルフリーミアム
- デプロイクラウド
- プラットフォームWeb
Nebiusトークンファクトリーの主要機能
オープンソースモデルを提供するためのOpenAI互換API
インタラクティブアプリケーション向けのリアルタイム推論
高ボリュームの非インタラクティブワークロード向けのバッチ推論
自動スケーリングとキャッシュ対応ルーティングを備えた専用エンドポイント
オープンモデルをカスタマイズするためのトレーニング後のサポートとファインチューニング
LiteLLM、Aisuite、LlamaIndex、LangChainとの統合
Agno、CrewAI、Pydanticを介したエージェントフレームワークのサポート
統合前にモデルをテストするためのインタラクティブプレイグラウンド
Nebiusトークンファクトリーの使い方は？
サインアップ: トークンファクトリーアカウントを作成してAPIアクセスを取得します
APIキーを取得: トークンファクトリーダッシュボードから認証情報を生成します
プレイグラウンドでテスト: コードを書く前にプロンプトを試し、オープンモデルを比較します
APIを呼び出す: 既存のOpenAI互換クライアントコードをトークンファクトリーエンドポイントに指します
スケールアップ: リクエストボリュームが増加するにつれて専用エンドポイントまたはバッチ推論に移行します
カスタマイズ: トレーニング後のツールを使用して自分のデータでモデルをファインチューニングします
Nebiusトークンファクトリーの使用例
- オープンモデルを使用したプロトタイピング
- スケールでの生産推論
- バッチデータ処理
- カスタムモデルの展開
