跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

gputaskman

gputaskman 是一款为 Windows、Linux 和 WSL 环境设计的 GPU 任务管理器。它提供了关于 GPU 活动、每个进程的 VRAM 使用情况以及 LLM 模型和 KV-cache 利用率的详细信息。该工具支持 Windows 上的 AMD 和 NVIDIA GPU,为开发者和使用 AI 及图形密集型应用的用户提供全面的监控。

查看仓库
分享
查看仓库
分享

gputaskman 是一款先进的 GPU 任务管理器,旨在提供对各种操作系统(包括 Windows、Linux 和 Windows 子系统 for Linux (WSL))中图形处理单元性能的细致控制和可视化。其主要功能是监控和显示关键的 GPU 指标,使用户能够了解其系统的图形硬件是如何被利用的。

阅读更多

该工具提供每个进程的 VRAM(视频随机存取存储器)使用情况,允许用户识别哪些应用程序消耗了最多的 GPU 内存。这对于优化资源分配和排查在 AI 模型训练、3D 渲染和游戏等高需求应用中的性能瓶颈特别有用。除了 VRAM,gputaskman 还跟踪整体 GPU 活动,提供 GPU 工作负载的实时概览。

gputaskman 的一个突出特点是其对大型语言模型(LLM)模型和 KV-cache 使用的专业洞察。这一能力对需要监控其 LLM 的内存占用和性能特征的 AI 开发者和研究人员来说是无价的。通过提供有关 LLM 如何利用 GPU 资源的详细信息,gputaskman 有助于优化模型部署和推理,确保高性能计算资源的高效使用。

该项目托管在 GitHub 上,表明其开源性质并促进社区贡献。它支持 Windows 上的 AMD 和 NVIDIA GPU,确保广泛的硬件配置兼容性。该工具专注于详细的每个进程指标和 LLM 特定的洞察,使其成为任何参与 GPU 密集型任务的人员(从系统管理员到 AI 工程师)的强大工具。

  • 类别MLOps 与模型部署
  • 定价模式开源
  • 部署自托管
  • 平台Windows, Linux

  • 每个进程的 VRAM 监控

  • GPU 活动跟踪

  • LLM 模型洞察

  • KV-cache 洞察

  • 支持 Windows 操作系统

  • 支持 Linux 操作系统

  • 支持 Windows 子系统 for Linux (WSL)

  • 与 AMD GPU 兼容(Windows)

  • 与 NVIDIA GPU 兼容(Windows)

  • 托管在 GitHub 的开源项目

  • 定期发布和更新

  • 社区贡献

  1. 克隆仓库:使用 `git clone https://github.com/shanselman/gputaskman.git` 获取源代码。

  2. 安装依赖:按照项目文档安装必要的 Python 包和系统库。

  3. 构建/编译:如有需要,根据您的操作系统的说明编译应用程序或其组件。

  4. 执行:从终端运行 gputaskman 应用程序以开始监控 GPU 活动。

  5. 监控:通过工具界面观察每个进程的 VRAM、GPU 活动和 LLM 特定指标。

  • GPU 资源监控
  • LLM 性能优化
  • 故障排除 GPU 问题
  • 开发者工具
  • 跨平台 GPU 管理

gputaskman 评价

加载中...

与 gputaskman 类似的热门AI工具

GPUStack

AI GitHub 仓库

GPUStack 是一个为高性能 AI 模型服务设计的 GPU 集群管理器,包括 vLLM 和 SGLang,并提供按需 SSH 可访问的 GPU 实例。它促进了 AI 应用程序的 GPU 资源高效管理。

MLOps 与模型部署

AI DevOps 与云工具 排名第 130 位

查看工具

AI GitHub 仓库

为高性能 AI 模型服务设计的 GPU 集群管理器,包括 vLLM 和 SGLang,并提供按需 SSH 可访问的 GPU 实例。它促进了 AI 应用程序的 GPU 资源高效管理。GPUStack 是一个为高性能 AI 模型服务设计的 GPU 集群管理器,包括 vLLM 和 SGLang,并提供按需 SSH 可访问的 GPU 实例。它促进了 AI 应用程序的 GPU 资源高效管理。

MLOps 与模型部署
AI DevOps 与云工具 排名第 130 位

TensorRT-LLM

AI GitHub 仓库

TensorRT-LLM 提供了一个用于定义大型语言模型的 Python API,优化了在 NVIDIA GPU 上的推理。它包括用于创建 Python 和 C++ 运行时的组件,以高效地协调推理执行。

机器学习平台

AI GitHub 仓库 排名第 74 位

查看工具

AI GitHub 仓库

提供了一个用于定义大型语言模型的 Python API,优化了在 NVIDIA GPU 上的推理。它包括用于创建 Python 和 C++ 运行时的组件,以高效地协调推理执行。TensorRT-LLM 提供了一个用于定义大型语言模型的 Python API,优化了在 NVIDIA GPU 上的推理。它包括用于创建 Python 和 C++ 运行时的组件,以高效地协调推理执行。

机器学习平台
AI GitHub 仓库 排名第 74 位

Thunder Compute 提供世界上最便宜的 GPU,以具有竞争力的每小时费率提供 NVIDIA H100 的访问权限。其云平台利用先进的 GPU 虚拟化技术,使计算资源变得丰富,旨在显著提高数据中心容量并降低与传统云提供商相比的成本。

MLOps 与模型部署

MLOps 与模型部署 排名第 66 位

查看工具

提供世界上最便宜的 GPU,以具有竞争力的每小时费率提供 NVIDIA H100 的访问权限。其云平台利用先进的 GPU 虚拟化技术,使计算资源变得丰富,旨在显著提高数据中心容量并降低与传统云提供商相比的成本。Thunder Compute 提供世界上最便宜的 GPU,以具有竞争力的每小时费率提供 NVIDIA H100 的访问权限。其云平台利用先进的 GPU 虚拟化技术,使计算资源变得丰富,旨在显著提高数据中心容量并降低与传统云提供商相比的成本。

MLOps 与模型部署
MLOps 与模型部署 排名第 66 位

Vast.ai以低成本提供高性能云GPU租用服务。非常适合人工智能、机器学习、深度学习和渲染,提供灵活的定价、快速的设置和全球可用性,是开发者寻找GPU资源的首选平台。

机器学习平台
查看工具

Vast.ai以低成本提供高性能云GPU租用服务。非常适合人工智能、机器学习、深度学习和渲染,提供灵活的定价、快速的设置和全球可用性,是开发者寻找GPU资源的首选平台。

精选机器学习平台
查看 AI 平台 Top 150

NVIDIA Run:ai

AI 平台

NVIDIA Run:ai 是一个用于 AI 工作负载和 GPU 编排的企业平台。它动态地在公共云、私有云、混合和本地环境中汇集和分配 GPU 容量,应用政策驱动的治理,以便团队获得公平、优先的访问权限。它专为大规模运行 AI 训练和推理的企业而构建。

MLOps 与模型部署

AI 平台 排名第 40 位

查看工具

AI 平台

用于 AI 工作负载和 GPU 编排的企业平台。它动态地在公共云、私有云、混合和本地环境中汇集和分配 GPU 容量,应用政策驱动的治理,以便团队获得公平、优先的访问权限。它专为大规模运行 AI 训练和推理的企业而构建。NVIDIA Run:ai 是一个用于 AI 工作负载和 GPU 编排的企业平台。它动态地在公共云、私有云、混合和本地环境中汇集和分配 GPU 容量,应用政策驱动的治理,以便团队获得公平、优先的访问权限。它专为大规模运行 AI 训练和推理的企业而构建。

MLOps 与模型部署
AI 平台 排名第 40 位

CanIRun.ai

AI 应用

一个免费的工具,可以检测您的GPU或Mac,并显示您可以本地运行的开放AI模型,包括LLMs、编码、图像和视频模型,以及VRAM要求和速度估计。

机器学习与数据科学

提示工程师 排名第 45 位

查看工具

AI 应用

一个免费的工具,可以检测您的GPU或Mac,并显示您可以本地运行的开放AI模型,包括LLMs、编码、图像和视频模型,以及VRAM要求和速度估计。

机器学习与数据科学
提示工程师 排名第 45 位

GMI Cloud

AI 应用

GMI Cloud 提供高性能的 GPU 云基础设施,专为 AI 工作负载设计。它支持无服务器推理、专用 GPU 集群和裸金属 AI 基础设施,为 AI 模型部署和机器学习任务提供可扩展的解决方案。

MLOps 与模型部署

AI DevOps 与云工具 排名第 74 位

查看工具

AI 应用

提供高性能的 GPU 云基础设施,专为 AI 工作负载设计。它支持无服务器推理、专用 GPU 集群和裸金属 AI 基础设施,为 AI 模型部署和机器学习任务提供可扩展的解决方案。GMI Cloud 提供高性能的 GPU 云基础设施,专为 AI 工作负载设计。它支持无服务器推理、专用 GPU 集群和裸金属 AI 基础设施,为 AI 模型部署和机器学习任务提供可扩展的解决方案。

MLOps 与模型部署
AI DevOps 与云工具 排名第 74 位

我可以在本地运行AI吗?是一个免费的基于浏览器的工具,可以检查您的PC、GPU或Mac可以运行哪些本地大型语言模型(LLMs)。它在不需要安装或创建账户的情况下估算VRAM、内存、量化、上下文和速度。

机器学习平台
查看工具

免费的基于浏览器的工具,可以检查您的PC、GPU或Mac可以运行哪些本地大型语言模型(LLMs)。它在不需要安装或创建账户的情况下估算VRAM、内存、量化、上下文和速度。我可以在本地运行AI吗?是一个免费的基于浏览器的工具,可以检查您的PC、GPU或Mac可以运行哪些本地大型语言模型(LLMs)。它在不需要安装或创建账户的情况下估算VRAM、内存、量化、上下文和速度。

机器学习平台
查看 AI 应用 Top 250
1/8