RightNow AI

Description

RightNow AI est un laboratoire de recherche GPU soutenu par YC qui construit des outils de développement CUDA et GPU axés sur l'édition consciente du matériel, le profilage, l'émulation, les flux de travail GPU à distance et l'analyse de performance benchmarkée. Ses produits aident les ingénieurs à réduire l'écart entre les modèles AI et le matériel sur lequel ils fonctionnent, passant du modèle à l'inférence de production optimisée plus rapidement.

L'éditeur CUDA de RightNow intègre NVIDIA Nsight Compute CLI pour le profilage GPU et affiche des métriques de performance en temps réel telles que l'efficacité SM, le débit mémoire, l'occupation et les taux de réussite du cache. Il fournit une complétion de code CUDA alimentée par AI avec des suggestions contextuelles, une détection automatique de l'architecture GPU, un profilage de noyau en ligne avec exécution en un clic, et une exécution GPU à distance via SSH pour les instances cloud et les clusters. Il prend en charge les GPU NVIDIA allant du GTX 1060 au H100 et plusieurs fournisseurs de LLM, y compris OpenRouter, Ollama et vLLM.

Au-delà de ses outils, RightNow AI mène des recherches sur la co-conception modèle-matériel, l'optimisation des noyaux GPU et l'infrastructure d'inférence, publiant des travaux tels qu'AutoMegaKernel et AutoKernel. Il est gratuit à utiliser avec un profilage et un benchmarking illimités, et disponible sur macOS, avec un plan Pro ajoutant l'accès à l'émulateur GPU et des crédits AI.

Fonctionnalités principales de RightNow AI

• Éditeur CUDA avec complétion de code AI consciente du matériel

• Intégration de NVIDIA Nsight Compute pour le profilage GPU

• Métriques en temps réel : efficacité SM, débit mémoire, occupation, taux de réussite du cache

• Détection automatique de l'architecture GPU

• Profilage de noyau en ligne avec exécution en un clic

• Exécution GPU à distance via SSH pour le cloud et les clusters

• Support multi-fournisseur LLM (OpenRouter, Ollama, vLLM)

• Accès à l'émulateur GPU sur le plan Pro

Comment utiliser RightNow AI ?

1. 1

   Installez l'éditeur : Obtenez l'éditeur CUDA de RightNow, disponible sur macOS.

2. 2

   Détectez votre GPU : Laissez-le détecter automatiquement votre architecture GPU, ou connectez un GPU à distance via SSH.

3. 3

   Écrivez en CUDA : Utilisez la complétion de code alimentée par AI et consciente du contexte pendant que vous éditez les noyaux.

4. 4

   Profilage : Exécutez le profilage de noyau en ligne avec exécution en un clic et consultez les métriques en temps réel.

5. 5

   Optimisez : Utilisez l'analyse benchmarkée et, sur Pro, l'émulateur GPU pour comparer et ajuster les noyaux.

Cas d'utilisation de RightNow AI

• Optimiser les noyaux CUDA
• Codage conscient du matériel
• Flux de travail GPU à distance
• Benchmark et comparaison

FAQ de RightNow AI

• Qu'est-ce que RightNow AI ?

  RightNow AI est un laboratoire de recherche GPU soutenu par YC et une entreprise de logiciels développant des outils de développement CUDA et recherchant la co-conception modèle-matériel et l'infrastructure d'inférence.

• Quels GPU NVIDIA sont pris en charge ?

  Il prend en charge tous les GPU NVIDIA avec CUDA Toolkit 11.0-12.5, y compris les séries RTX 40/30/20, GTX 16/10, Quadro RTX, Tesla, A100 et H100.

• Combien coûte RightNow AI ?

  Il est gratuit avec un profilage et un benchmarking illimités. RightNow Pro coûte 29 $ par mois et ajoute l'accès à l'émulateur GPU, la comparaison multi-GPU et 1 000 crédits AI par mois.

• Puis-je l'utiliser sur macOS ?

  Oui. Il est entièrement disponible sur macOS (Apple Silicon et Intel), où vous pouvez utiliser des GPU à distance gratuitement ou l'émulateur GPU intégré.

• Prend-il en charge les GPU à distance ?

  Oui. Il prend en charge l'exécution GPU à distance via SSH pour les instances cloud et les clusters.

• Quels fournisseurs de LLM prend-il en charge ?

  Il prend en charge OpenRouter (plus de 200 modèles), Ollama, vLLM et l'option gérée RightNow Pro.