描述
ManagePrompt 是开发人员将大型语言模型 (LLM) 集成到其应用程序中的关键工具。这款开源的本地 LLM 调用调试器使开发人员能够细致地跟踪和分析与 LLM API 的每一次交互。通过捕获每次请求和响应的全面详细信息，ManagePrompt 提供了对 LLM 调用生命周期的无与伦比的可见性。
阅读更多
该调试器提供了一个本地 Web UI，可实时显示重要信息。开发人员可以检查完整的请求和响应正文，可视化数据流，并监控每个单独调用的 Token 使用量，包括输入、输出和缓存读/写 Token。这种精细的跟踪对于理解模型行为和优化性能至关重要。
除了技术细节，ManagePrompt 还提供了对开发成本的实际见解。它使用 models.dev 的定价数据进行实时成本估算，使开发人员能够有效地管理其 LLM 支出。该工具会自动处理流式和非流式 LLM 调用，确保不会遗漏任何交互。其由 WebSocket 支持的实时更新使 UI 与正在进行的调用保持同步，提供即时反馈循环。
对于项目管理和数据持久性，ManagePrompt 使用项目范围的 SQLite 数据库，无需任何配置。这种本地存储确保所有调试数据都保留在开发人员的环境中。集成非常简单，通常只需两行代码即可将必要的中间件添加到 AI SDK 中。ManagePrompt 的设计具有通用性，可与广泛的 LLM API 无缝协作，包括 OpenAI、Anthropic、Google 和 Mistral 等提供商的 API。
ManagePrompt 的目标受众包括人工智能工程师、机器学习工程师、软件开发人员和数据科学家，他们正在构建利用 LLM 的应用程序。对于那些从事复杂 LLM 集成、模型微调或优化 LLM 驱动功能（其中详细的调试和性能分析至关重要）的开发人员来说，它尤其有益。该工具简化了通常复杂的 LLM 交互故障排除过程，加速了开发周期并提高了 AI 驱动应用程序的质量。
- 类别提示词工程工具
- 定价模式开源
- 部署本地
- 平台跨平台（通过安装方法）
ManagePrompt LLM 调试器的核心功能
捕获所有 LLM API 请求和响应
可视化请求/响应流
跟踪每次调用的输入、输出和缓存 Token
实时估算 LLM 调用成本
支持流式和非流式 LLM 调用
通过 WebSockets 提供实时 UI 更新
使用项目范围的 SQLite 数据库进行本地数据存储
为本地数据库提供零配置设置
通过中间件轻松集成到 AI SDK 中
兼容多个 LLM 提供商（OpenAI、Anthropic、Google、Mistral 等）
开源本地 LLM 调用调试器
如何使用 ManagePrompt LLM 调试器？
安装：使用 Homebrew、Go 或 npm/pnpm 安装 ManagePrompt。
集成：将 `devToolsMiddleware()` 添加到您的 AI SDK 配置中。
捕获：使用 `capture()` 函数包装您的 LLM 调用。
运行 UI：启动 ManagePrompt 服务器以访问本地 Web UI。
调试：在 UI 中分析请求/响应详情、Token 使用量和成本。
ManagePrompt LLM 调试器的使用案例
- LLM API 调试
- 性能优化
- 成本管理
- 请求/响应分析
- 实时监控
- 多提供商集成
