説明
LiteRTは、広く採用されているTensorFlow Liteから進化した、Googleの次世代オンデバイス機械学習展開を表します。このフレームワークは、広範なエッジプラットフォーム上での高性能MLおよび生成AI展開のために設計されています。オンデバイス環境の制約と要求に特化して調整された、モデル変換、ランタイム実行、最適化のための効率的なパイプラインを提供します。
続きを読む
実績のあるTensorFlow Liteの基盤上に構築されたLiteRTは、数十億台のデバイスで直接実行されるアプリケーションに対して、低遅延と強化されたプライバシーを提供することを目指しています。そのクロスプラットフォーム対応は、簡素化されたハードウェアアクセラレーションとマルチフレームワークサポートを提供することにより、生成AIを含む洗練されたAI機能の展開を容易にします。開発者は、既存の.tfliteモデルを活用したり、PyTorch、JAX、TensorFlowなどのフレームワークからモデルを変換したりできます。LiteRT最適化ツールキットは、トレーニング後の量子化を可能にし、モデルの効率をさらに向上させます。
LiteRTは、事前学習済みモデルをアプリケーションに統合することから、深いハードウェア固有の最適化を伴う高度なカスタムモデル作成まで、さまざまな展開シナリオをサポートします。Gemmaのようなモデルを使用した高度なエージェントスキルやマルチステップ計画機能を含む、最先端のAIを直接エッジに導入できるように開発者を支援するように設計されています。このフレームワークは、MediaTekおよびQualcomm NPUなどのハードウェアアクセラレーションサポートの拡大にも焦点を当てており、これらのチップセットでの生成AIタスクのピークパフォーマンスを解き放ちます。
既存のTensorFlow Liteユーザーにとって、LiteRTへの移行は、Android、デスクトップ、Webなどのプラットフォーム全体でパフォーマンスの向上と統一されたAPIを提供します。CompiledModel APIの導入は、ハードウェア選択を自動化し、非同期実行を可能にすることで、展開をさらに簡素化します。LiteRT-LMは、特にウェアラブルおよびブラウザベースのプラットフォームでの言語モデルの展開を可能にし、多様なエッジAIアプリケーションに対するその汎用性を示しています。GitHubリポジトリを通じてコミュニティからの貢献を奨励しており、最適化されたオープンウェイトモデルはHugging Face Hubからアクセスできます。
- カテゴリーMLOps・モデルデプロイ
- 料金モデルオープンソース
- デプロイオンデバイス
- プラットフォームAndroid, Web
LiteRTの主要機能
高性能オンデバイスMLおよびGenAI展開
PyTorch、JAX、TensorFlowからの効率的なモデル変換
エッジプラットフォーム向けの最適化されたランタイム
トレーニング後量子化ツールキット
クロスプラットフォーム互換性(Android、デスクトップ、Web)
簡素化されたハードウェアアクセラレーション
マルチフレームワークサポート
ハードウェア選択を自動化するCompiledModel API
オンデバイス言語モデル用のLiteRT-LM
強化されたプライバシーと低遅延
TensorFlow Lite基盤からの進化
MediaTekおよびQualcommチップセットでのNPUアクセラレーションをサポート
LiteRTをはじめる
モデルの取得: 既存の.tfliteモデルを使用するか、PyTorch、JAX、またはTensorFlowモデルを変換します。
モデルの最適化: LiteRT最適化ツールキットを使用してトレーニング後の量子化を行います。
モデルの展開: 最適化されたモデルをLiteRTに統合し、最適なアクセラレータを選択します。
モデルの実行: アプリケーションをターゲットエッジデバイスに展開します。
サンプルを参照: 完全なエンドツーエンドのサンプルアプリについてはGitHubを参照してください。
モデルへのアクセス: Hugging Faceで最適化されたオープンウェイトGenAIモデルを見つけます。
LiteRTの使用例
- オンデバイスチャットボット
- エッジAIアプリケーション
- ウェアラブルAI
- ブラウザベースAI
- ビジョンおよびオーディオ体験
- エージェントスキル
- カスタムモデル最適化
- クロスプラットフォーム展開







