Beschreibung
RightNow AI ist ein von YC unterstütztes GPU-Forschungslabor, das CUDA- und GPU-Entwicklungstools entwickelt, die sich auf hardwarebewusstes Editing, Profiling, Emulation, Remote-GPU-Workflows und benchmarkbasierte Leistungsanalyse konzentrieren. Die Produkte helfen Ingenieuren, die Lücke zwischen KI-Modellen und der Hardware, auf der sie laufen, zu schließen, und ermöglichen einen schnelleren Übergang vom Modell zur optimierten Produktionsinferenz.
Der RightNow CUDA-Editor integriert NVIDIA Nsight Compute CLI für GPU-Profiling und zeigt Echtzeit-Leistungskennzahlen wie SM-Effizienz, Speicherbandbreite, Belegung und Cache-Trefferquoten an. Er bietet KI-gestützte CUDA-Codevervollständigung mit kontextbewussten Vorschlägen, automatische GPU-Architekturerkennung, Inline-Kernel-Profiling mit Ein-Klick-Ausführung und Remote-GPU-Ausführung über SSH für Cloud-Instanzen und Cluster. Er unterstützt NVIDIA-GPUs von der GTX 1060 bis zur H100 sowie mehrere LLM-Anbieter, darunter OpenRouter, Ollama und vLLM.
Neben seinen Tools führt RightNow AI Forschung zu Modell-Hardware-Co-Design, GPU-Kernel-Optimierung und Inferenzinfrastruktur durch und veröffentlicht Arbeiten wie AutoMegaKernel und AutoKernel. Es ist kostenlos nutzbar mit unbegrenztem Profiling und Benchmarking und auf macOS verfügbar, wobei der Pro-Plan den Zugriff auf den GPU-Emulator und KI-Guthaben hinzufügt.
RightNow AI's Kernfunktionen
CUDA-Editor mit hardwarebewusster KI-Codevervollständigung
Integration von NVIDIA Nsight Compute für GPU-Profiling
Echtzeitkennzahlen: SM-Effizienz, Speicherbandbreite, Belegung, Cache-Trefferquoten
Automatische GPU-Architekturerkennung
Inline-Kernel-Profiling mit Ein-Klick-Ausführung
Remote-GPU-Ausführung über SSH für Cloud und Cluster
Unterstützung mehrerer LLM-Anbieter (OpenRouter, Ollama, vLLM)
Zugriff auf den GPU-Emulator im Pro-Plan
Wie verwendet man RightNow AI?
Installieren Sie den Editor: Holen Sie sich den RightNow CUDA-Editor, der auf macOS verfügbar ist.
Erkennen Sie Ihre GPU: Lassen Sie die GPU-Architektur automatisch erkennen oder verbinden Sie eine Remote-GPU über SSH.
Schreiben Sie CUDA: Nutzen Sie die KI-gestützte, kontextbewusste Codevervollständigung, während Sie Kerne bearbeiten.
Profiling: Führen Sie Inline-Kernel-Profiling mit Ein-Klick-Ausführung durch und überprüfen Sie die Echtzeitkennzahlen.
Optimieren: Verwenden Sie benchmarkbasierte Analysen und im Pro-Plan den GPU-Emulator, um Kerne zu vergleichen und anzupassen.
RightNow AI's Anwendungsfälle
- CUDA-Kerne optimieren
- Hardwarebewusstes Codieren
- Remote-GPU-Workflows
- Benchmarken und Vergleichen
