mpathic AI

Mindgard AI 安全

AI 应用

#37

提供自动化的 AI 红队演练和安全测试，以发现、评估和防御 AI 模型、代理和应用程序。它充当自主红队，绘制 AI 攻击面图并识别高影响力的漏洞，防止其被利用，从而确保强大的 AI 系统安全性。Mindgard 提供自动化的 AI 红队演练和安全测试，以发现、评估和防御 AI 模型、代理和应用程序。它充当自主红队，绘制 AI 攻击面图并识别高影响力的漏洞，防止其被利用，从而确保强大的 AI 系统安全性。

Future AGI

AI 应用

#42

用于构建、测试和监控 AI 代理的开源平台。它通过护栏、使用 20 多个指标进行的全面评估以及类似 Sentry 的错误跟踪，帮助实时捕获和修复 AI 幻觉。该平台通过强化学习实现持续改进，并提供端到端的请求跟踪。Future AGI 是一个用于构建、测试和监控 AI 代理的开源平台。它通过护栏、使用 20 多个指标进行的全面评估以及类似 Sentry 的错误跟踪，帮助实时捕获和修复 AI 幻觉。该平台通过强化学习实现持续改进，并提供端到端的请求跟踪。

Alice

AI 应用

#27

ActiveFence，现在称为Alice，提供全面的AI安全平台。它提供对抗性情报、红队测试和实时保护措施，以保护AI系统免受滥用和漏洞的影响，确保安全和合规的AI部署。

Evidently AI - 开源AI评估

AI 应用

#24

提供开源工具，用于评估和监控AI应用程序。它通过测试大型语言模型（LLMs）和监控各种工作流程中的性能，帮助确保AI系统准备好投入生产。受到全球AI团队的信任。Evidently AI提供开源工具，用于评估和监控AI应用程序。它通过测试大型语言模型（LLMs）和监控各种工作流程中的性能，帮助确保AI系统准备好投入生产。受到全球AI团队的信任。

Adversa AI

AI 应用

#119

提供一个自主平台，用于持续的 AI 红队演练，专门针对 AI 代理、LLM 和 GenAI 应用。它识别并修复安全漏洞，确保 AI 系统能够大规模部署而不会引入不当风险。该服务映射到 OWASP 和 NIST 标准，为定制 AI 解决方案提供量身定制的安全保障。Adversa AI 提供一个自主平台，用于持续的 AI 红队演练，专门针对 AI 代理、LLM 和 GenAI 应用。它识别并修复安全漏洞，确保 AI 系统能够大规模部署而不会引入不当风险。该服务映射到 OWASP 和 NIST 标准，为定制 AI 解决方案提供量身定制的安全保障。

Giskard

AI 应用

#94

专注于持续红队测试和大型语言模型（LLM）安全的AI安全平台。它通过自动化测试和评估帮助检测漏洞、预防幻觉并保护AI系统。Giskard是一个专注于持续红队测试和大型语言模型（LLM）安全的AI安全平台。它通过自动化测试和评估帮助检测漏洞、预防幻觉并保护AI系统。

AgentDojo

AI 框架

动态环境，旨在评估 LLM 代理的提示注入攻击和防御。由苏黎世联邦理工学院和 Invariant Labs 的研究人员开发，它提供了基准测试和创建新攻击和防御模型的工具，帮助研究 AI 漏洞。AgentDojo 是一个动态环境，旨在评估 LLM 代理的提示注入攻击和防御。由苏黎世联邦理工学院和 Invariant Labs 的研究人员开发，它提供了基准测试和创建新攻击和防御模型的工具，帮助研究 AI 漏洞。

Cleanlab AI安全平台

AI 应用

#104

帮助组织构建更安全的AI代理，通过防止错误响应来实现。它确保AI输出符合安全、合规和信任的标准，使AI系统具备生产准备和可靠性。Cleanlab帮助组织构建更安全的AI代理，通过防止错误响应来实现。它确保AI输出符合安全、合规和信任的标准，使AI系统具备生产准备和可靠性。