跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

我可以在本地运行AI吗?

我可以在本地运行AI吗?是一个免费的基于浏览器的工具,可以检查您的PC、GPU或Mac可以运行哪些本地大型语言模型(LLMs)。它在不需要安装或创建账户的情况下估算VRAM、内存、量化、上下文和速度。

访问URL
分享
我可以在本地运行AI吗? 截图
我可以在本地运行AI吗? 截图

我可以在本地运行AI吗?是一个免费的在线工具,旨在帮助用户确定他们的硬件可以支持哪些本地大型语言模型(LLMs)。通过使用这个基于浏览器的兼容性检查器,用户可以选择或检测他们的GPU、Mac或CPU,并获得适合内存的开放权重模型的估算。该工具提供了每个模型在给定量化和上下文长度下所需的VRAM或统一内存的详细信息,以及每秒的估计速度(以tokens为单位)。

阅读更多

该工具特别适合那些希望在本地运行AI模型而无需软件安装或账户创建的用户。它完全在浏览器中运行,确保原始GPU详细信息保持私密,不会被上传。用户可以将VRAM、内存、量化和上下文长度等要求与他们的硬件能力进行比较,从而做出明智的决定,选择下载和运行哪些模型。

我可以在本地运行AI吗?涵盖了来自12个出版商的55个开放权重文本生成模型的目录,包括流行模型如Llama、Qwen、Gemma和GPT-OSS。该工具为每个模型提供了适配判定和内存估算,以及可用的预期速度范围和可复制的运行命令。该目录定期更新,以包括新模型并重新检查现有条目与官方模型卡的匹配。

该工具还提供了关于量化选项的详细解释,如Q4、Q5、Q8、BF16、FP8和NVFP4,帮助用户理解内存权衡和硬件特定的精度支持。它被设计为一个规划工具,提供估算而非精确测量,并鼓励用户在依赖它们进行关键任务之前进行紧密适配的测试。

  • 类别机器学习平台
  • 定价模式免费
  • 部署基于浏览器
  • 平台网页

  • 基于浏览器的兼容性检查器

  • 估算VRAM和内存需求

  • 支持GPU、Mac和CPU检测

  • 提供量化和上下文长度选项

  • 提供每秒的估计速度(以tokens为单位)

  • 无需安装或账户

  • 55个开放权重模型的目录

  • 可复制的运行命令

  1. 选择或检测您的硬件:选择您的GPU、Mac或CPU。

  2. 设置量化和上下文:调整这些设置以适应您的模型。

  3. 查看适配和内存估算:检查哪些模型适合您的硬件。

  4. 复制运行命令:使用提供的命令在本地运行模型。

  • 模型兼容性检查
  • VRAM和内存估算
  • 量化分析
  • 速度估算
  • 本地AI模型执行

我可以在本地运行AI吗? 评价

加载中...

与 我可以在本地运行AI吗? 类似的热门AI工具

CanIRun.ai

AI 应用

一个免费的工具,可以检测您的GPU或Mac,并显示您可以本地运行的开放AI模型,包括LLMs、编码、图像和视频模型,以及VRAM要求和速度估计。

机器学习与数据科学

机器学习与数据科学 排名第 47 位

查看工具

AI 应用

一个免费的工具,可以检测您的GPU或Mac,并显示您可以本地运行的开放AI模型,包括LLMs、编码、图像和视频模型,以及VRAM要求和速度估计。

机器学习与数据科学
机器学习与数据科学 排名第 47 位

本地AI游乐场是一款免费、开源的原生应用程序,可离线和私密运行AI模型。它通过Rust后端简化了AI推理,无需GPU。轻松管理模型、验证完整性并启动流式服务器,使AI无需技术设置即可访问。

机器学习平台
查看工具

免费、开源的原生应用程序,可离线和私密运行AI模型。它通过Rust后端简化了AI推理,无需GPU。轻松管理模型、验证完整性并启动流式服务器,使AI无需技术设置即可访问。本地AI游乐场是一款免费、开源的原生应用程序,可离线和私密运行AI模型。它通过Rust后端简化了AI推理,无需GPU。轻松管理模型、验证完整性并启动流式服务器,使AI无需技术设置即可访问。

机器学习平台
查看 AI 应用 Top 250

llmspeed

AI 应用

llmspeed 允许用户在购买之前模拟本地 LLM 的速度。通过选择硬件和模型,用户可以根据经过验证的基准体验实时性能指标,包括每秒令牌数和首次令牌时间。

MLOps 与模型部署

MLOps 与模型部署 排名第 183 位

查看工具

AI 应用

允许用户在购买之前模拟本地 LLM 的速度。通过选择硬件和模型,用户可以根据经过验证的基准体验实时性能指标,包括每秒令牌数和首次令牌时间。llmspeed 允许用户在购买之前模拟本地 LLM 的速度。通过选择硬件和模型,用户可以根据经过验证的基准体验实时性能指标,包括每秒令牌数和首次令牌时间。

MLOps 与模型部署
MLOps 与模型部署 排名第 183 位

LocalAI

AI GitHub 仓库

LocalAI 是一个开源人工智能引擎,允许用户在任何硬件上运行各种模型,包括大型语言模型(LLMs)、视觉、语音、图像和视频,而无需 GPU。这种灵活性使其适用于多种应用。

机器学习平台

AI GitHub 仓库 排名第 52 位

查看工具

AI GitHub 仓库

开源人工智能引擎,允许用户在任何硬件上运行各种模型,包括大型语言模型(LLMs)、视觉、语音、图像和视频,而无需 GPU。这种灵活性使其适用于多种应用。LocalAI 是一个开源人工智能引擎,允许用户在任何硬件上运行各种模型,包括大型语言模型(LLMs)、视觉、语音、图像和视频,而无需 GPU。这种灵活性使其适用于多种应用。

精选机器学习平台
AI GitHub 仓库 排名第 52 位

LocalAI

AI 应用

LocalAI 是一个开源运行时,采用 MIT 许可证,可以在您拥有的硬件上运行 AI 模型,而不是通过云 API。一个二进制文件提供与 OpenAI、Anthropic、Ollama 和 ElevenLabs 兼容的 API,支持可更换的引擎,如 llama.cpp、vLLM 和 MLX,涵盖聊天、语音、视觉、图像和视频生成,以及代理。

机器学习平台

首席技术官 排名第 26 位

查看工具

AI 应用

开源运行时,采用 MIT 许可证,可以在您拥有的硬件上运行 AI 模型,而不是通过云 API。一个二进制文件提供与 OpenAI、Anthropic、Ollama 和 ElevenLabs 兼容的 API,支持可更换的引擎,如 llama.cpp、vLLM 和 MLX,涵盖聊天、语音、视觉、图像和视频生成,以及代理。LocalAI 是一个开源运行时,采用 MIT 许可证,可以在您拥有的硬件上运行 AI 模型,而不是通过云 API。一个二进制文件提供与 OpenAI、Anthropic、Ollama 和 ElevenLabs 兼容的 API,支持可更换的引擎,如 llama.cpp、vLLM 和 MLX,涵盖聊天、语音、视觉、图像和视频生成,以及代理。

机器学习平台
首席技术官 排名第 26 位

vLLM

AI 应用

vLLM 是一个高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它使得 AI 模型的快速部署成为可能,提供先进的性能,使得 LLM 服务对各行业的用户而言变得简单、快速且具有成本效益。

MLOps 与模型部署
查看工具

AI 应用

高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它使得 AI 模型的快速部署成为可能,提供先进的性能,使得 LLM 服务对各行业的用户而言变得简单、快速且具有成本效益。vLLM 是一个高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它使得 AI 模型的快速部署成为可能,提供先进的性能,使得 LLM 服务对各行业的用户而言变得简单、快速且具有成本效益。

MLOps 与模型部署
查看 AI 应用 Top 250

Vast.ai以低成本提供高性能云GPU租用服务。非常适合人工智能、机器学习、深度学习和渲染,提供灵活的定价、快速的设置和全球可用性,是开发者寻找GPU资源的首选平台。

机器学习平台
查看工具

Vast.ai以低成本提供高性能云GPU租用服务。非常适合人工智能、机器学习、深度学习和渲染,提供灵活的定价、快速的设置和全球可用性,是开发者寻找GPU资源的首选平台。

精选机器学习平台
查看 AI 平台 Top 150

一个免费的在线演示,展示开源的 DeepSeek V3 模型(6710 亿参数),可在您的浏览器中运行,无需注册,并提供本地运行模型的链接,适用于个人和商业使用。

AI 模型与大语言模型
查看工具

一个免费的在线演示,展示开源的 DeepSeek V3 模型(6710 亿参数),可在您的浏览器中运行,无需注册,并提供本地运行模型的链接,适用于个人和商业使用。

AI 模型与大语言模型
查看 AI 应用 Top 250
1/8