Описание
Могу ли я запустить ИИ локально? — это бесплатный онлайн-инструмент, предназначенный для помощи пользователям в определении, какие локальные большие языковые модели (LLM) поддерживает их оборудование. Используя этот браузерный инструмент совместимости, пользователи могут выбрать или обнаружить свой GPU, Mac или CPU и получить оценку того, какие модели с открытыми весами помещаются в память. Инструмент предоставляет информацию о том, сколько VRAM или унифицированной памяти требуется каждой модели при заданном квантовании и длине контекста, а также оценку скорости в токенах в секунду.
Читать далее
Инструмент особенно полезен для тех, кто хочет запускать модели ИИ локально без необходимости установки программного обеспечения или создания учетной записи. Он полностью работает в браузере, что гарантирует, что детали GPU остаются конфиденциальными и не загружаются. Пользователи могут сравнивать требования, такие как VRAM, память, квантование и длина контекста, с возможностями своего оборудования, чтобы принимать обоснованные решения о том, какие модели загружать и запускать.
Могу ли я запустить ИИ локально? охватывает каталог из 55 моделей генерации текста с открытыми весами от 12 издателей, включая популярные модели, такие как Llama, Qwen, Gemma и GPT-OSS. Инструмент предоставляет оценку совместимости и оценку памяти для каждой модели, а также ожидаемые диапазоны скорости и готовые к копированию команды запуска, где это возможно. Каталог периодически обновляется, чтобы включать новые модели и повторно проверять существующие записи на соответствие официальным карточкам моделей.
Инструмент также предлагает подробные объяснения вариантов квантования, таких как Q4, Q5, Q8, BF16, FP8 и NVFP4, помогая пользователям понять компромиссы в использовании памяти и поддержку точности, специфичную для оборудования. Он предназначен для планирования, предоставляя оценки, а не точные измерения, и побуждает пользователей тестировать узкие места перед тем, как полагаться на них для критических задач.
- КатегорияПлатформы машинного обучения
- Модель ценообразованияБесплатно
- РазвёртываниеНа основе браузера
- ПлатформыВеб
Основные функции Могу ли я запустить ИИ локально?
Инструмент проверки совместимости на основе браузера
Оценка требований к VRAM и памяти
Поддержка обнаружения GPU, Mac и CPU
Предоставление вариантов квантования и длины контекста
Оценка скорости в токенах в секунду
Не требуется установка или учетная запись
Каталог из 55 моделей с открытыми весами
Готовые к копированию команды запуска
Как использовать Могу ли я запустить ИИ локально??
Выберите или обнаружьте ваше оборудование: выберите ваш GPU, Mac или CPU.
Настройте квантование и контекст: отрегулируйте эти параметры для вашей модели.
Просмотрите оценки совместимости и памяти: проверьте, какие модели подходят вашему оборудованию.
Скопируйте команды запуска: используйте предоставленные команды для локального запуска моделей.
Варианты использования Могу ли я запустить ИИ локально?
- Проверка совместимости моделей
- Оценка VRAM и памяти
- Анализ квантования
- Оценка скорости
- Локальное выполнение моделей ИИ








