メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

LiteRT

AI フレームワークMLOps・モデルデプロイオープンソース · Android, Web

LiteRTは、エッジプラットフォーム上でGenAIおよびMLモデルを展開するためのGoogleの高性能オンデバイス機械学習フレームワークです。TensorFlow Liteの基盤を活かし、効率的な変換、ランタイム、最適化を提供し、数十億台のデバイスで低遅延と高いプライバシーを実現します。

URLを訪問
共有
URLを訪問
共有

LiteRTは、広く採用されているTensorFlow Liteから進化した、Googleの次世代オンデバイス機械学習展開を表します。このフレームワークは、広範なエッジプラットフォーム上での高性能MLおよび生成AI展開のために設計されています。オンデバイス環境の制約と要求に特化して調整された、モデル変換、ランタイム実行、最適化のための効率的なパイプラインを提供します。

続きを読む

実績のあるTensorFlow Liteの基盤上に構築されたLiteRTは、数十億台のデバイスで直接実行されるアプリケーションに対して、低遅延と強化されたプライバシーを提供することを目指しています。そのクロスプラットフォーム対応は、簡素化されたハードウェアアクセラレーションとマルチフレームワークサポートを提供することにより、生成AIを含む洗練されたAI機能の展開を容易にします。開発者は、既存の.tfliteモデルを活用したり、PyTorch、JAX、TensorFlowなどのフレームワークからモデルを変換したりできます。LiteRT最適化ツールキットは、トレーニング後の量子化を可能にし、モデルの効率をさらに向上させます。

LiteRTは、事前学習済みモデルをアプリケーションに統合することから、深いハードウェア固有の最適化を伴う高度なカスタムモデル作成まで、さまざまな展開シナリオをサポートします。Gemmaのようなモデルを使用した高度なエージェントスキルやマルチステップ計画機能を含む、最先端のAIを直接エッジに導入できるように開発者を支援するように設計されています。このフレームワークは、MediaTekおよびQualcomm NPUなどのハードウェアアクセラレーションサポートの拡大にも焦点を当てており、これらのチップセットでの生成AIタスクのピークパフォーマンスを解き放ちます。

既存のTensorFlow Liteユーザーにとって、LiteRTへの移行は、Android、デスクトップ、Webなどのプラットフォーム全体でパフォーマンスの向上と統一されたAPIを提供します。CompiledModel APIの導入は、ハードウェア選択を自動化し、非同期実行を可能にすることで、展開をさらに簡素化します。LiteRT-LMは、特にウェアラブルおよびブラウザベースのプラットフォームでの言語モデルの展開を可能にし、多様なエッジAIアプリケーションに対するその汎用性を示しています。GitHubリポジトリを通じてコミュニティからの貢献を奨励しており、最適化されたオープンウェイトモデルはHugging Face Hubからアクセスできます。

  • カテゴリーMLOps・モデルデプロイ
  • 料金モデルオープンソース
  • デプロイオンデバイス
  • プラットフォームAndroid, Web

  • 高性能オンデバイスMLおよびGenAI展開

  • PyTorch、JAX、TensorFlowからの効率的なモデル変換

  • エッジプラットフォーム向けの最適化されたランタイム

  • トレーニング後量子化ツールキット

  • クロスプラットフォーム互換性(Android、デスクトップ、Web)

  • 簡素化されたハードウェアアクセラレーション

  • マルチフレームワークサポート

  • ハードウェア選択を自動化するCompiledModel API

  • オンデバイス言語モデル用のLiteRT-LM

  • 強化されたプライバシーと低遅延

  • TensorFlow Lite基盤からの進化

  • MediaTekおよびQualcommチップセットでのNPUアクセラレーションをサポート

  1. モデルの取得: 既存の.tfliteモデルを使用するか、PyTorch、JAX、またはTensorFlowモデルを変換します。

  2. モデルの最適化: LiteRT最適化ツールキットを使用してトレーニング後の量子化を行います。

  3. モデルの展開: 最適化されたモデルをLiteRTに統合し、最適なアクセラレータを選択します。

  4. モデルの実行: アプリケーションをターゲットエッジデバイスに展開します。

  5. サンプルを参照: 完全なエンドツーエンドのサンプルアプリについてはGitHubを参照してください。

  6. モデルへのアクセス: Hugging Faceで最適化されたオープンウェイトGenAIモデルを見つけます。

  • オンデバイスチャットボット
  • エッジAIアプリケーション
  • ウェアラブルAI
  • ブラウザベースAI
  • ビジョンおよびオーディオ体験
  • エージェントスキル
  • カスタムモデル最適化
  • クロスプラットフォーム展開

LiteRT に似た人気のAIツール

TensorFlow

AI フレームワーク

TensorFlowは、誰でも利用できるエンドツーエンドのオープンソース機械学習プラットフォームです。機械学習モデルを簡単に作成し、展開するための柔軟なツール、ライブラリ、コミュニティリソースのエコシステムを提供します。

機械学習プラットフォーム
ツールを見る

AI フレームワーク

誰でも利用できるエンドツーエンドのオープンソース機械学習プラットフォームです。機械学習モデルを簡単に作成し、展開するための柔軟なツール、ライブラリ、コミュニティリソースのエコシステムを提供します。TensorFlowは、誰でも利用できるエンドツーエンドのオープンソース機械学習プラットフォームです。機械学習モデルを簡単に作成し、展開するための柔軟なツール、ライブラリ、コミュニティリソースのエコシステムを提供します。

注目機械学習プラットフォーム
AI フレームワーク トップ50を見る

ZETIC Melange

AI アプリ

ZETIC Melangeは、あらゆるデバイス上のあらゆるモデルに対して、オンデバイスAIのデプロイを自動化します。元Qualcommエンジニアが開発し、NPUアクセラレーションを最適化し、200以上のデバイスでベンチマークを行い、わずか3行のコードで数時間でのデプロイを可能にし、コストとレイテンシを削減します。

MLOps・モデルデプロイ

MLOps・モデルデプロイで第138位

ツールを見る

AI アプリ

あらゆるデバイス上のあらゆるモデルに対して、オンデバイスAIのデプロイを自動化します。元Qualcommエンジニアが開発し、NPUアクセラレーションを最適化し、200以上のデバイスでベンチマークを行い、わずか3行のコードで数時間でのデプロイを可能にし、コストとレイテンシを削減します。ZETIC Melangeは、あらゆるデバイス上のあらゆるモデルに対して、オンデバイスAIのデプロイを自動化します。元Qualcommエンジニアが開発し、NPUアクセラレーションを最適化し、200以上のデバイスでベンチマークを行い、わずか3行のコードで数時間でのデプロイを可能にし、コストとレイテンシを削減します。

MLOps・モデルデプロイ
MLOps・モデルデプロイで第138位

TensorFlow Extended (TFX)

AI フレームワーク

TensorFlow Extended (TFX) は、Google の本番環境スケールの機械学習プラットフォームです。ML システムの定義、起動、監視のための共通コンポーネントを統合するための設定フレームワークと共有ライブラリを提供します。TFX を使用すると、本番環境で ML…

MLOps・モデルデプロイ
ツールを見る

AI フレームワーク

Google の本番環境スケールの機械学習プラットフォームです。ML システムの定義、起動、監視のための共通コンポーネントを統合するための設定フレームワークと共有ライブラリを提供します。TFX を使用すると、本番環境で ML…TensorFlow Extended (TFX) は、Google の本番環境スケールの機械学習プラットフォームです。ML システムの定義、起動、監視のための共通コンポーネントを統合するための設定フレームワークと共有ライブラリを提供します。TFX を使用すると、本番環境で ML…

MLOps・モデルデプロイ
AI フレームワーク トップ50を見る

NVIDIA Dynamo-Tritonは、TensorRT、PyTorch、ONNXなどのさまざまなフレームワークでAIモデルのデプロイを可能にします。リアルタイム、バッチ処理、ストリーミングワークロードをサポートし、多様なAIアプリケーションに適しています。

MLOps・モデルデプロイ
ツールを見る

BigDL LLM

AI フレームワーク

BigDL-LLMは、ラップトップからクラウドGPUまで、Intel XPUハードウェア上で大規模言語モデル(LLM)を実行するためのオープンソースライブラリです。低遅延推論のためのINT4/FP4/INT8/FP8量子化をサポートし、PyTorchモデル向けの包括的なファインチューニング機能を提供します。

MLOps・モデルデプロイ
ツールを見る

AI フレームワーク

BigDL-LLMは、ラップトップからクラウドGPUまで、Intel XPUハードウェア上で大規模言語モデル(LLM)を実行するためのオープンソースライブラリです。低遅延推論のためのINT4/FP4/INT8/FP8量子化をサポートし、PyTorchモデル向けの包括的なファインチューニング機能を提供します。

MLOps・モデルデプロイ
AI フレームワーク トップ50を見る

SiliconFlow

AI プラットフォーム

開発者が200以上の最適化されたLLMおよびマルチモーダルモデルをデプロイ、ファインチューニング、実行できるAIインフラストラクチャプラットフォームで、OpenAI互換のAPIを通じて従量課金制で提供されます。

MLOps・モデルデプロイ
ツールを見る

AI プラットフォーム

開発者が200以上の最適化されたLLMおよびマルチモーダルモデルをデプロイ、ファインチューニング、実行できるAIインフラストラクチャプラットフォームで、OpenAI互換のAPIを通じて従量課金制で提供されます。

注目MLOps・モデルデプロイ
AI プラットフォーム トップ150を見る

DeepDetect

AI フレームワーク

DeepDetectは、ディープラーニングモデルのデプロイと管理に特化したAIフレームワークです。機械学習モデルのサービングプロセスを簡素化し、開発者が効率的にAI機能をアプリケーションに統合できるようにします。このプラットフォームは、リアルタイム推論とモデル監視のための堅牢なバックエンドを提供することに重点を置いています。

MLOps・モデルデプロイ
ツールを見る

AI フレームワーク

ディープラーニングモデルのデプロイと管理に特化したAIフレームワークです。機械学習モデルのサービングプロセスを簡素化し、開発者が効率的にAI機能をアプリケーションに統合できるようにします。このプラットフォームは、リアルタイム推論とモデル監視のための堅牢なバックエンドを提供することに重点を置いています。DeepDetectは、ディープラーニングモデルのデプロイと管理に特化したAIフレームワークです。機械学習モデルのサービングプロセスを簡素化し、開発者が効率的にAI機能をアプリケーションに統合できるようにします。このプラットフォームは、リアルタイム推論とモデル監視のための堅牢なバックエンドを提供することに重点を置いています。

MLOps・モデルデプロイ
AI フレームワーク トップ50を見る

OpenVINO Toolkit

AI フレームワーク

OpenVINOは、多様なハードウェア上で高性能AIソリューションを展開するためのオープンソースツールキットです。開発者は、クラウド、AI PC、エッジデバイスでの効率的なデプロイメントをサポートし、一般的なフレームワークの生成AIおよび従来のAIモデルの両方の変換、最適化、推論実行を可能にします。

コンピュータービジョンツール
ツールを見る

AI フレームワーク

多様なハードウェア上で高性能AIソリューションを展開するためのオープンソースツールキットです。開発者は、クラウド、AI PC、エッジデバイスでの効率的なデプロイメントをサポートし、一般的なフレームワークの生成AIおよび従来のAIモデルの両方の変換、最適化、推論実行を可能にします。OpenVINOは、多様なハードウェア上で高性能AIソリューションを展開するためのオープンソースツールキットです。開発者は、クラウド、AI PC、エッジデバイスでの効率的なデプロイメントをサポートし、一般的なフレームワークの生成AIおよび従来のAIモデルの両方の変換、最適化、推論実行を可能にします。

コンピュータービジョンツール
AI フレームワーク トップ50を見る
1 / 8