メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

TensorFold

TensorFoldは、さまざまなハードウェアプラットフォームでの高性能コンピューティングのために設計されたオープンソースのLLM推論エンジンです。Metal、CUDA、Vulkanをサポートし、大規模な言語モデルの展開に柔軟なソリューションを提供します。このプロジェクトは効率的な実行を強調し、開発と展開のためのツールを提供しており、高度なAIモデルに取り組む研究者や開発者に適しています。

リポジトリを見る
共有
リポジトリを見る
共有

TensorFoldは、GitHubでホストされているオープンソースプロジェクトであり、LLM(大規模言語モデル)推論エンジンとして機能します。さまざまなハードウェアアーキテクチャで大規模な言語モデルを高性能で実行するために設計されており、特にMetal、CUDA、Vulkanをサポートしています。この広範な互換性により、開発者はAppleのMetal対応ハードウェアからNVIDIAのCUDA対応GPU、さらにはVulkan APIをサポートする他のデバイスまで、さまざまなデバイスでLLMを効率的に展開および実行できます。

続きを読む

このプロジェクトは積極的に開発されており、最近のコミットは継続的な改善と機能追加を示しています。チェックポイントや画像の準備、リモート制御のためのオーケストレーターAPI、さまざまなGPUでの評価とスコアリングのためのツールなど、LLM展開のさまざまな側面に関するコンポーネントが含まれています。TensorFoldは、アプリケーションやシステムにLLM機能を統合するための堅牢で柔軟な基盤を提供することを目指しています。

TensorFoldのアーキテクチャは、LLMランタイムの開発とパッケージングを促進するように設計されています。パフォーマンスを最適化するためのドキュメントや評価のためのガイドを提供しています。リポジトリの構造には、アプリケーションコード、アセット、ドキュメント、パッケージングツール、Webコンポーネントのディレクトリが含まれており、LLMベースのソリューションを構築および展開するための包括的なエコシステムを示唆しています。このプロジェクトは、Nemotron 3.5 LLMのようなモデルのためのネイティブパフォーマンスとサーバーサイド機能に焦点を当てたZigエンジンのプレビューも特徴としています。

オープンソース開発に焦点を当て、複数の推論バックエンドをサポートすることで、TensorFoldはAIコミュニティにとって貴重なリソースとして位置づけられています。研究者やエンジニアは、特定のハードウェアベンダーに制約されることなく、大規模な言語モデルを実験し、展開することができ、AI推論の分野におけるより広いアクセスと革新を促進します。

  • カテゴリーMLOps・モデルデプロイ
  • 料金モデルオープンソース
  • デプロイクラウド, セルフホスト
  • プラットフォームWeb

  • LLM推論エンジン

  • Appleハードウェア向けのMetalをサポート

  • NVIDIA GPU向けのCUDAをサポート

  • 幅広いGPU互換性のためのVulkanをサポート

  • オープンソースのGitHubリポジトリ

  • チェックポイントと画像準備のためのツール

  • オーケストレーターリモートコントロールAPI

  • 安定版リリースのための自動デスクトップランタイム公開

  • GPUに依存しないテキスト参照とスコアリングツール

  • Nemotron 3.5 LLMのためのネイティブMetalエンジンとサーバープレビュー

  • 最適化と評価のための包括的なドキュメント

  • Apache-2.0ライセンス

  • Pythonエンジン統合(TensorFold 1.0.0)

  • コントリビューターエージェントのプルリクエストスキル

  1. リポジトリをクローン: TensorFoldのGitHubリポジトリをローカルマシンにクローンしてプロジェクトを取得します。

  2. 依存関係をインストール: プロジェクトのドキュメントに記載されている必要な依存関係を設定し、インストールします。

  3. エンジンをビルド: 提供されたビルドスクリプトを使用して、ターゲットハードウェア(Metal、CUDA、またはVulkan)用にTensorFoldエンジンをコンパイルします。

  4. モデルを構成: 推論のためにプロジェクトのガイドラインに従ってLLMチェックポイントと画像を準備します。

  5. 推論を実行: TensorFoldエンジンを使用してLLM推論タスクを実行し、選択したバックエンドの最適化されたパフォーマンスを活用します。

  6. アプリケーションを開発: TensorFoldをアプリケーションに統合し、APIやツールを使用してカスタムLLM対応ソリューションを構築します。

  7. 貢献: プロジェクトの開発、ドキュメント、またはテストに貢献することでオープンソースコミュニティに参加します。

  • 高性能LLM推論
  • クロスプラットフォームAI展開
  • AIモデル開発
  • 研究と実験
  • カスタムLLMアプリケーション構築
  • GPU加速テキスト処理

TensorFold のレビュー

読み込み中...

TensorFold に似た人気のAIツール

TensorRT-LLM

AI GitHub リポジトリ

TensorRT-LLMは、大規模言語モデルを定義し、NVIDIA GPU上での推論を最適化するためのPython APIを提供します。効率的な推論実行を調整するためのPythonおよびC++ランタイムを作成するためのコンポーネントが含まれています。

機械学習プラットフォーム

AI GitHub リポジトリで第74位

ツールを見る

AI GitHub リポジトリ

大規模言語モデルを定義し、NVIDIA GPU上での推論を最適化するためのPython APIを提供します。効率的な推論実行を調整するためのPythonおよびC++ランタイムを作成するためのコンポーネントが含まれています。TensorRT-LLMは、大規模言語モデルを定義し、NVIDIA GPU上での推論を最適化するためのPython APIを提供します。効率的な推論実行を調整するためのPythonおよびC++ランタイムを作成するためのコンポーネントが含まれています。

機械学習プラットフォーム
AI GitHub リポジトリで第74位

Soup

AI GitHub リポジトリ

スープは、単一のYAMLファイルを使用して大規模言語モデル(LLM)のファインチューニングを可能にするGitHubリポジトリです。レイヤーストリーミングを利用して、4GBのラップトップGPU上で80億パラメータのモデルをトレーニングし、限られたハードウェアでの高度なAIモデルのトレーニングを実現します。

MLOps・モデルデプロイ
ツールを見る

AI GitHub リポジトリ

スープは、単一のYAMLファイルを使用して大規模言語モデル(LLM)のファインチューニングを可能にするGitHubリポジトリです。レイヤーストリーミングを利用して、4GBのラップトップGPU上で80億パラメータのモデルをトレーニングし、限られたハードウェアでの高度なAIモデルのトレーニングを実現します。

MLOps・モデルデプロイ
AI GitHub リポジトリ トップ250を見る

AirLLM

AI GitHub リポジトリ

AirLLMは、1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。

MLOps・モデルデプロイ

機械学習とデータサイエンスで第73位

ツールを見る

AI GitHub リポジトリ

1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。AirLLMは、1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。

MLOps・モデルデプロイ
機械学習とデータサイエンスで第73位

trnrt

AI GitHub リポジトリ

trnrtは、AWS Trainium向けに設計されたオープンソースのLLM推論エンジンで、NKIメガカーネルを提供し、1Mトークンのコンテキストをサポートします。RunAnywhereによって開発され、OpenAI互換のAPIを提供し、特化したAWSハードウェア上で効率的かつスケーラブルな大規模言語モデルの展開を可能にします。このプロジェクトは、開発者や組…

MLOps・モデルデプロイ

MLOps・モデルデプロイで第160位

ツールを見る

AI GitHub リポジトリ

AWS Trainium向けに設計されたオープンソースのLLM推論エンジンで、NKIメガカーネルを提供し、1Mトークンのコンテキストをサポートします。RunAnywhereによって開発され、OpenAI互換のAPIを提供し、特化したAWSハードウェア上で効率的かつスケーラブルな大規模言語モデルの展開を可能にします。このプロジェクトは、開発者や組…trnrtは、AWS Trainium向けに設計されたオープンソースのLLM推論エンジンで、NKIメガカーネルを提供し、1Mトークンのコンテキストをサポートします。RunAnywhereによって開発され、OpenAI互換のAPIを提供し、特化したAWSハードウェア上で効率的かつスケーラブルな大規模言語モデルの展開を可能にします。このプロジェクトは、開発者や組…

MLOps・モデルデプロイ
MLOps・モデルデプロイで第160位

vLLM

AI GitHub リポジトリ

vllm-project/vllmは、大規模言語モデル(LLM)向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

MLOps・モデルデプロイ

AI GitHub リポジトリで第23位

ツールを見る

AI GitHub リポジトリ

大規模言語モデル(LLM)向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。vllm-project/vllmは、大規模言語モデル(LLM)向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

注目MLOps・モデルデプロイ
AI GitHub リポジトリで第23位

mlc-llm

AI GitHub リポジトリ

mlc-llmは、機械学習コンパイルを利用してデプロイメントプロセスを効率化するユニバーサルLLMデプロイメントエンジンです。さまざまなプラットフォームで大規模言語モデルをデプロイする際の効率性とスケーラビリティを向上させることを目的としています。

MLOps・モデルデプロイ
ツールを見る

AI GitHub リポジトリ

機械学習コンパイルを利用してデプロイメントプロセスを効率化するユニバーサルLLMデプロイメントエンジンです。さまざまなプラットフォームで大規模言語モデルをデプロイする際の効率性とスケーラビリティを向上させることを目的としています。mlc-llmは、機械学習コンパイルを利用してデプロイメントプロセスを効率化するユニバーサルLLMデプロイメントエンジンです。さまざまなプラットフォームで大規模言語モデルをデプロイする際の効率性とスケーラビリティを向上させることを目的としています。

MLOps・モデルデプロイ
AI GitHub リポジトリ トップ250を見る

TensorFlow

AI GitHub リポジトリ

TensorFlowは、誰でも利用できるように設計されたオープンソースの機械学習フレームワークです。機械学習モデルの構築と展開のための包括的なエコシステムを提供し、開発者や研究者が利用しやすくなっています。

機械学習プラットフォーム
ツールを見る

AI GitHub リポジトリ

誰でも利用できるように設計されたオープンソースの機械学習フレームワークです。機械学習モデルの構築と展開のための包括的なエコシステムを提供し、開発者や研究者が利用しやすくなっています。TensorFlowは、誰でも利用できるように設計されたオープンソースの機械学習フレームワークです。機械学習モデルの構築と展開のための包括的なエコシステムを提供し、開発者や研究者が利用しやすくなっています。

注目機械学習プラットフォーム
AI GitHub リポジトリ トップ250を見る

llama-modchip

AI GitHub リポジトリ

llama-modchipは、ユーザーがGPUなしで純粋な64GB CPU上で284B DeepSeek-V4-Flashや30B MoEのような大規模言語モデルを実行できるGitHubプロジェクトです。高いトークン毎秒レートと256Kコンテキストウィンドウをサポートし、効率的でアクセス可能なAIモデルの展開と実験のために、SwiGLU-H2やClaude…

MLOps・モデルデプロイ
ツールを見る

AI GitHub リポジトリ

ユーザーがGPUなしで純粋な64GB CPU上で284B DeepSeek-V4-Flashや30B MoEのような大規模言語モデルを実行できるGitHubプロジェクトです。高いトークン毎秒レートと256Kコンテキストウィンドウをサポートし、効率的でアクセス可能なAIモデルの展開と実験のために、SwiGLU-H2やClaude…llama-modchipは、ユーザーがGPUなしで純粋な64GB CPU上で284B DeepSeek-V4-Flashや30B MoEのような大規模言語モデルを実行できるGitHubプロジェクトです。高いトークン毎秒レートと256Kコンテキストウィンドウをサポートし、効率的でアクセス可能なAIモデルの展開と実験のために、SwiGLU-H2やClaude…

MLOps・モデルデプロイ
AI GitHub リポジトリ トップ250を見る
1 / 8