説明
GLiDE 27Bは、Fastinoによって開発された高度な270億パラメータの意思決定モデルであり、多様な入力状態に基づいて入力された質問に確率的な回答を提供するように設計されています。このモデルは、テキスト生成ではなく、正確な分類、ルーティング、スコアリングを必要とするシナリオで優れた性能を発揮します。テキスト、JSON、および画像を含む入力状態を処理し、包括的な意思決定分析のためのマルチモーダル機能を提供します。
続きを読む
ユーザーは、FastinoがホストするAPIを介してGLiDE 27Bと対話でき、POSTエンドポイントを介して意思決定リクエストをサポートします。このAPIは、255の名前付きオプションから1つを選択する「選択」や、P(はい)を返す「ノール」、順序付けられたレベルを割り当てる「スコア」など、さまざまな質問タイプをサポートしています。各質問に対して、GLiDE 27Bは255方向の意思決定リードアウトから導出されたすべての可能なオプションの確率を返し、生成的なテキストは生成されません。
このモデルは効率性を考慮して設計されており、各質問ごとに1回のフォワードパスを実行し、リクエスト内のすべての質問をスコアリングし、マイクロバッチで同時リクエストを処理します。デフォルトで、状態、質問、オプション、および画像トークンを含む最大40,000トークンの長いコンテキストをサポートします。インターフェースは、Python APIおよびSystem Oneフォーマットを使用して通信するHTTPサーバーを介して利用可能です。
GLiDE 27Bはbf16ウェイトで動作し、80GB以上のメモリを持つGPU（例：NVIDIA RTX PRO 6000 Blackwell Server Edition）を必要とします。このハードウェア上でのリクエストあたりの中央値のレイテンシは112msを示しています。モデルのアーキテクチャには、51.2GBの言語モデル、0.92GBのビジョンエンコーダー、および2.6MBのリードアウトが含まれています。Fastinoは、簡単な統合と展開のためにAPIキーシステムとドキュメントを提供しています。このモデルはFastinoコミュニティライセンスの下でライセンスされており、サードパーティのコンポーネントは元のライセンスを保持します。
- カテゴリーAIモデルとLLM
- 料金モデル営業に問い合わせ
- デプロイクラウド
- プラットフォームWeb
GLiDE 27Bのハイライト
270億パラメータ
画像-テキストからテキストへの意思決定モデル
入力された意思決定質問（選択、ノール、スコア）
すべてのオプションに対する確率出力
テキスト生成なし（非生成的）
マルチモーダル入力（テキスト、JSON、画像）
長いコンテキストサポート（最大40,000トークン）
Python APIおよびHTTPサーバーインターフェース
効率のためのマイクロバッチ処理
bf16ウェイトおよび計算
80GB以上のGPUメモリが必要
FastinoホストAPIが利用可能
APIキー認証
インライン画像をサポート（データURL、Base64）
バッチ処理と同時実行の設定可能
GLiDE 27Bをはじめる
APIキーを取得する：FastinoからAPIキーを取得して、ホストされたGLiDE APIにアクセスします。
リクエストを準備する：状態（テキスト、JSON、または画像を含むマルチモーダル）と1つ以上の入力された質問をフォーマットします。
リクエストを送信する：Fastino APIエンドポイント（POST https://api.fastino.ai/v1/systemone）を使用し、モデル`fastino/GLiDE`を指定します。
レスポンスを受け取る：最も可能性の高い選択肢、ノール確率、またはスコアとともに、すべてのオプションの確率を含むレスポンスを受け取ります。
ローカルで統合する（オプション）：リポジトリの指示に従って、PythonまたはHTTPサーバーを使用してGLiDE 27Bをローカルで実行します。
GLiDE 27Bの使用例
- 分類タスク
- 意思決定ルーティング
- スコアリングシステム
- マルチモーダル分析
- 感情分析
- コンテンツモデレーション
- カスタマーサポートトリアージ
- 調査分析
