Langsung ke konten utama
ToolPotion
Penasihat AI
Kirim (Gratis)

TensorFold

TensorFold adalah mesin inferensi LLM sumber terbuka yang dirancang untuk komputasi berkinerja tinggi di berbagai platform perangkat keras. Ini mendukung Metal, CUDA, dan Vulkan, menyediakan solusi fleksibel untuk menerapkan model bahasa besar. Proyek ini menekankan eksekusi yang efisien dan menawarkan alat untuk pengembangan dan penerapan, menjadikannya cocok untuk peneliti dan pengembang yang bekerja dengan model AI canggih.

Lihat Repositori
Bagikan
Lihat Repositori
Bagikan

TensorFold adalah proyek sumber terbuka yang dihosting di GitHub, berfungsi sebagai mesin inferensi LLM (Large Language Model). Ini dirancang untuk memberikan eksekusi berkinerja tinggi dari model bahasa besar di berbagai arsitektur perangkat keras, khususnya mendukung Metal, CUDA, dan Vulkan. Kompatibilitas yang luas ini memungkinkan pengembang untuk menerapkan dan menjalankan LLM secara efisien di berbagai perangkat, mulai dari perangkat keras yang mendukung Metal dari Apple hingga GPU bertenaga CUDA dari NVIDIA dan perangkat lain yang mendukung API Vulkan.

Baca Selengkapnya

Proyek ini aktif dikembangkan, dengan komit terbaru menunjukkan perbaikan dan penambahan fitur yang berkelanjutan. Ini mencakup komponen untuk berbagai aspek penerapan LLM, seperti persiapan checkpoint dan gambar, API pengatur untuk kontrol jarak jauh, dan alat untuk evaluasi dan penilaian di berbagai GPU. TensorFold bertujuan untuk menawarkan fondasi yang kuat dan fleksibel untuk mengintegrasikan kemampuan LLM ke dalam aplikasi dan sistem.

Arsitektur TensorFold dirancang untuk memfasilitasi pengembangan dan pengemasan runtime LLM. Ini menyediakan dokumentasi untuk mengoptimalkan kinerja dan panduan untuk evaluasi. Struktur repositori mencakup direktori untuk kode aplikasi, aset, dokumentasi, alat pengemasan, dan komponen web, menunjukkan ekosistem yang komprehensif untuk membangun dan menerapkan solusi berbasis LLM. Proyek ini juga menampilkan pratinjau mesin Zig, menunjukkan fokus pada kinerja asli dan kemampuan sisi server untuk model seperti Nemotron 3.5 LLM.

Dengan fokus pada pengembangan sumber terbuka dan dukungan untuk beberapa backend inferensi, TensorFold memposisikan dirinya sebagai sumber daya yang berharga bagi komunitas AI. Ini memungkinkan peneliti dan insinyur untuk bereksperimen dengan dan menerapkan model bahasa besar tanpa terikat oleh vendor perangkat keras tertentu, mempromosikan aksesibilitas yang lebih luas dan inovasi di bidang inferensi AI.

  • KategoriMLOps & Penerapan Model
  • Model HargaOpen source
  • PenerapanCloud, Di-host sendiri
  • PlatformWeb

  • Mesin Inferensi LLM

  • Mendukung Metal untuk perangkat keras Apple

  • Mendukung CUDA untuk GPU NVIDIA

  • Mendukung Vulkan untuk kompatibilitas GPU yang luas

  • Repositori GitHub sumber terbuka

  • Alat untuk persiapan checkpoint dan gambar

  • API kontrol jarak jauh pengatur

  • Penerbitan runtime desktop otomatis untuk rilis stabil

  • Referensi teks dan alat penilaian yang tidak tergantung GPU

  • Mesin Metal asli dan pratinjau server untuk Nemotron 3.5 LLM

  • Dokumentasi komprehensif untuk optimasi dan evaluasi

  • Lisensi Apache-2.0

  • Integrasi mesin Python (TensorFold 1.0.0)

  • Keterampilan permintaan tarik agen kontributor

  1. Clone Repository: Dapatkan proyek dengan mengkloning repositori TensorFold GitHub ke mesin lokal Anda.

  2. Install Dependencies: Siapkan lingkungan build yang diperlukan dan instal semua ketergantungan yang diperlukan seperti yang dijelaskan dalam dokumentasi proyek.

  3. Build Engine: Kompilasi mesin TensorFold untuk perangkat keras target Anda (Metal, CUDA, atau Vulkan) menggunakan skrip build yang disediakan.

  4. Configure Models: Siapkan checkpoint dan gambar LLM Anda sesuai dengan pedoman proyek untuk inferensi.

  5. Run Inference: Jalankan tugas inferensi LLM menggunakan mesin TensorFold, memanfaatkan kinerjanya yang dioptimalkan untuk backend yang Anda pilih.

  6. Develop Applications: Integrasikan TensorFold ke dalam aplikasi Anda menggunakan API dan alatnya untuk membangun solusi berbasis LLM yang kustom.

  7. Contribute: Terlibatlah dengan komunitas sumber terbuka dengan berkontribusi pada pengembangan, dokumentasi, atau pengujian proyek.

  • Inferensi LLM Berkinerja Tinggi
  • Penerapan AI Lintas Platform
  • Pengembangan Model AI
  • Penelitian dan Eksperimen
  • Membangun Aplikasi LLM Kustom
  • Pemrosesan Teks Dipercepat GPU

Ulasan TensorFold

Memuat...

Alat AI Populer Seperti TensorFold

TensorRT-LLM

Repositori GitHub AI

TensorRT-LLM menyediakan API Python untuk mendefinisikan Model Bahasa Besar, mengoptimalkan inferensi pada GPU NVIDIA. Ini mencakup komponen untuk membuat runtime Python dan C++…

Platform Machine Learning

Peringkat 74 di Repositori GitHub AI

Lihat Alat

Repositori GitHub AI

Menyediakan API Python untuk mendefinisikan Model Bahasa Besar, mengoptimalkan inferensi pada GPU NVIDIA. Ini mencakup komponen untuk membuat runtime Python dan C++…TensorRT-LLM menyediakan API Python untuk mendefinisikan Model Bahasa Besar, mengoptimalkan inferensi pada GPU NVIDIA. Ini mencakup komponen untuk membuat runtime Python dan C++…

Platform Machine Learning
Peringkat 74 di Repositori GitHub AI

Soup

Repositori GitHub AI

Soup adalah repositori GitHub yang memungkinkan penyempurnaan model bahasa besar (LLM) menggunakan satu file YAML. Ini memanfaatkan streaming lapisan untuk melatih model dengan 8…

MLOps & Penerapan Model
Lihat Alat

Repositori GitHub AI

Repositori GitHub yang memungkinkan penyempurnaan model bahasa besar (LLM) menggunakan satu file YAML. Ini memanfaatkan streaming lapisan untuk melatih model dengan 8…Soup adalah repositori GitHub yang memungkinkan penyempurnaan model bahasa besar (LLM) menggunakan satu file YAML. Ini memanfaatkan streaming lapisan untuk melatih model dengan 8…

MLOps & Penerapan Model
Lihat Top 250 Repositori GitHub AI

AirLLM

Repositori GitHub AI

AirLLM adalah proyek GitHub yang memungkinkan inferensi 70 miliar parameter menggunakan satu GPU 4GB. Proyek ini dirancang untuk mengoptimalkan kinerja model bahasa besar pada…

MLOps & Penerapan Model

Peringkat 73 di Machine Learning & Ilmu Data

Lihat Alat

Repositori GitHub AI

Proyek GitHub yang memungkinkan inferensi 70 miliar parameter menggunakan satu GPU 4GB. Proyek ini dirancang untuk mengoptimalkan kinerja model bahasa besar pada…AirLLM adalah proyek GitHub yang memungkinkan inferensi 70 miliar parameter menggunakan satu GPU 4GB. Proyek ini dirancang untuk mengoptimalkan kinerja model bahasa besar pada…

MLOps & Penerapan Model
Peringkat 73 di Machine Learning & Ilmu Data

trnrt

Repositori GitHub AI

trnrt adalah mesin inferensi LLM sumber terbuka yang dirancang untuk AWS Trainium, menawarkan megakernel NKI dan mendukung konteks 1M-token. Dikembangkan oleh RunAnywhere, ini…

MLOps & Penerapan Model

Peringkat 160 di MLOps & Penerapan Model

Lihat Alat

Repositori GitHub AI

Mesin inferensi LLM sumber terbuka yang dirancang untuk AWS Trainium, menawarkan megakernel NKI dan mendukung konteks 1M-token. Dikembangkan oleh RunAnywhere, ini…trnrt adalah mesin inferensi LLM sumber terbuka yang dirancang untuk AWS Trainium, menawarkan megakernel NKI dan mendukung konteks 1M-token. Dikembangkan oleh RunAnywhere, ini…

MLOps & Penerapan Model
Peringkat 160 di MLOps & Penerapan Model

vLLM

Repositori GitHub AI

vllm-project/vllm adalah mesin inferensi dan penyajian yang berkecepatan tinggi dan efisien dalam penggunaan memori, dirancang untuk model bahasa besar (LLM). Ini mengoptimalkan…

MLOps & Penerapan Model

Peringkat 23 di Repositori GitHub AI

Lihat Alat

Repositori GitHub AI

Mesin inferensi dan penyajian yang berkecepatan tinggi dan efisien dalam penggunaan memori, dirancang untuk model bahasa besar (LLM). Ini mengoptimalkan…vllm-project/vllm adalah mesin inferensi dan penyajian yang berkecepatan tinggi dan efisien dalam penggunaan memori, dirancang untuk model bahasa besar (LLM). Ini mengoptimalkan…

UnggulanMLOps & Penerapan Model
Peringkat 23 di Repositori GitHub AI

mlc-llm

Repositori GitHub AI

mlc-llm adalah mesin penyebaran LLM universal yang memanfaatkan kompilasi pembelajaran mesin untuk menyederhanakan proses penyebaran. Ini dirancang untuk meningkatkan efisiensi…

MLOps & Penerapan Model
Lihat Alat

Repositori GitHub AI

Mesin penyebaran LLM universal yang memanfaatkan kompilasi pembelajaran mesin untuk menyederhanakan proses penyebaran. Ini dirancang untuk meningkatkan efisiensi…mlc-llm adalah mesin penyebaran LLM universal yang memanfaatkan kompilasi pembelajaran mesin untuk menyederhanakan proses penyebaran. Ini dirancang untuk meningkatkan efisiensi…

MLOps & Penerapan Model
Lihat Top 250 Repositori GitHub AI

TensorFlow

Repositori GitHub AI

TensorFlow adalah kerangka kerja pembelajaran mesin sumber terbuka yang dirancang untuk semua orang. Ini menyediakan ekosistem komprehensif untuk membangun dan menerapkan model…

Platform Machine Learning
Lihat Alat

Repositori GitHub AI

Kerangka kerja pembelajaran mesin sumber terbuka yang dirancang untuk semua orang. Ini menyediakan ekosistem komprehensif untuk membangun dan menerapkan model…TensorFlow adalah kerangka kerja pembelajaran mesin sumber terbuka yang dirancang untuk semua orang. Ini menyediakan ekosistem komprehensif untuk membangun dan menerapkan model…

UnggulanPlatform Machine Learning
Lihat Top 250 Repositori GitHub AI

llama-modchip

Repositori GitHub AI

llama-modchip adalah proyek GitHub yang memungkinkan pengguna menjalankan model bahasa besar seperti 284B DeepSeek-V4-Flash dan 30B MoEs pada CPU 64GB murni tanpa GPU. Ini…

MLOps & Penerapan Model
Lihat Alat

Repositori GitHub AI

Proyek GitHub yang memungkinkan pengguna menjalankan model bahasa besar seperti 284B DeepSeek-V4-Flash dan 30B MoEs pada CPU 64GB murni tanpa GPU. Ini…llama-modchip adalah proyek GitHub yang memungkinkan pengguna menjalankan model bahasa besar seperti 284B DeepSeek-V4-Flash dan 30B MoEs pada CPU 64GB murni tanpa GPU. Ini…

MLOps & Penerapan Model
Lihat Top 250 Repositori GitHub AI
1 dari 8