CanIRun.ai

Описание

CanIRun.ai — это бесплатный веб-инструмент, который помогает вам определить, какие открытые AI модели ваше оборудование может запускать локально. Он определяет вашу GPU или Mac и сопоставляет вашу VRAM или унифицированную память с базой данных оборудования, затем оценивает каждую открытую модель по предполагаемой скорости, запасу памяти и качеству, сортируя их на модели, которые подходят комфортно, плотно и те, которые слишком тяжелые.

Инструмент охватывает открытые LLM, модели для кодирования, модели рассуждений и локальные модели генерации изображений и видео. Он считывает подсказки о GPU, RAM и CPU из браузера, или вы можете пропустить определение и открыть страницу устройства для конкретной GPU, чипа Apple, телефона или Raspberry Pi. Вход или регистрация не требуются.

CanIRun.ai сосредоточен на открытых моделях, которые вы можете скачать и запустить самостоятельно, предлагая рекомендации по требованиям к VRAM, квантованию и тому, как на самом деле запустить рекомендованную модель с помощью таких инструментов, как runai, Ollama или LM Studio. Он подчеркивает локальную, частную инференцию, где подсказки никогда не покидают ваше устройство.

Основные функции CanIRun.ai

• Автоматическое определение аппаратного обеспечения GPU и Mac в браузере

• Сопоставление вашей VRAM или унифицированной памяти с базой данных моделей

• Оценка моделей по соответствию, скорости, запасу памяти и качеству

• Охват LLM, моделей для кодирования, изображений и видео

• Страницы устройств для конкретных GPU, чипов Apple, телефонов и Raspberry Pi

• Рекомендации по требованиям к VRAM и квантованию

• Инструкции по запуску через runai, Ollama или LM Studio

• Вход или регистрация не требуются

Как использовать CanIRun.ai?

1. 1

   Откройте сайт: посетите CanIRun.ai в вашем браузере.

2. 2

   Определите аппаратное обеспечение: позвольте инструменту считать вашу GPU, RAM и CPU или выберите конкретное устройство.

3. 3

   Просмотрите совпадения: посмотрите, какие открытые модели подходят комфортно, плотно или слишком тяжелые.

4. 4

   Выберите модель: исследуйте LLM, модели для кодирования, изображения или видео, подходящие для вашего устройства.

5. 5

   Запустите её: скопируйте команду runai или используйте Ollama или LM Studio с теми же весами.

Варианты использования CanIRun.ai

• Проверка совместимости оборудования
• Поиск локальных LLM
• Локальная генерация изображений и видео
• Планирование устройства

Часто задаваемые вопросы CanIRun.ai

• Что такое CanIRun.ai?

  CanIRun.ai — это бесплатный инструмент, который определяет вашу GPU или Mac и показывает, какие открытые AI модели вы можете запускать локально, с требованиями к VRAM и оценками скорости.

• Сколько VRAM мне нужно?

  Модель чата от 7B до 9B обычно помещается в 8 ГБ при Q4, 12 до 16 ГБ охватывают большинство моделей от 12B до 27B, а 24 ГБ и выше открывают 30B плотные модели и локальную генерацию изображений или видео.

• Могу ли я запускать локальный AI на Mac без выделенной GPU?

  Да. Mac на Apple Silicon делят RAM между CPU и GPU, поэтому чипы, такие как M4, M4 Pro и M4 Max, могут запускать открытые модели, которые в противном случае требовали бы дискретную GPU.

• Как он знает, какие модели подходят моему оборудованию?

  Он считывает подсказки о GPU, RAM и CPU из браузера, сопоставляет их с базой данных оборудования и оценивает каждую модель по скорости, запасу памяти и качеству.

• Что такое квантование?

  Квантование хранит веса модели в меньшем количестве бит, поэтому файлы меньше и используют меньше памяти. Q4_K_M — это обычная оптимальная точка для локального чата.

• Как запустить рекомендованную модель?

  Откройте страницу модели и скопируйте её команду runai или используйте Ollama или LM Studio с теми же весами GGUF.