描述
Intel® Neural Compressor 是一个强大的开源 Python 库，旨在通过各种压缩技术来增强深度学习模型的性能。它与 PyTorch、TensorFlow 和 JAX 等主流框架无缝集成，使其成为开发人员和研究人员的通用工具。
阅读更多
该库提供了一套全面的模型压缩方法，包括静态量化、动态量化、SmoothQuant、仅权重量化、感知量化训练和混合精度。一项关键功能是支持 LLaMA、Qwen 和 DeepSeek 等大型语言模型 (LLM) 和视觉语言模型 (VLM) 的高级量化，利用与 AutoRound 的集成来实现优化的低精度数据类型。
Intel® Neural Compressor 专为广泛的硬件兼容性而设计。它提供了广泛的 Intel 硬件的广泛测试和支持，包括 Intel Gaudi AI 加速器、Intel Core Ultra 处理器、Intel Xeon 可扩展处理器、Intel Xeon CPU Max 系列、Intel 数据中心 GPU Flex 系列和 Intel 数据中心 GPU Max 系列。此外，它还为 AMD CPU、ARM CPU 和 NVIDIA GPU 提供有限的测试支持。
该库的文档详细介绍了不同框架和硬件的安装过程。用户可以通过 pip 安装具有特定框架依赖项的 Neural Compressor，例如 PyTorch 的 `neural-compressor-pt` 或 TensorFlow 的 `neural-compressor-tf`。对于 JAX，提供了从源代码构建的安装方法。文档还包括入门指南，其中包含在 Intel Gaudi2 AI 加速器上进行 FP8 量化和仅权重 LLM 加载等技术的示例代码。
最近的更新突出了对 Keras/JAX 中 FP8 量化、使用 AutoRound 进行 FP8 KV 缓存/注意力静态量化以及 NVFP4/MXFP4 量化的实验性支持。该项目积极鼓励贡献和合作，通过 GitHub Issues 和电子邮件提供有关错误报告、功能请求和研究思路的明确指南。
- 类别机器学习平台
- 定价模式开源
- 部署云端
- 平台网页版
Intel® Neural Compressor的核心功能
支持 PyTorch、TensorFlow 和 JAX 框架
提供静态量化、动态量化、SmoothQuant、仅权重量化
支持感知量化训练和混合精度
LLM 和 VLM 的高级量化（例如 LLaMA、Qwen）
与 AutoRound 集成以优化低精度数据类型
广泛支持 Intel 硬件（Gaudi、Xeon、Core Ultra、数据中心 GPU）
有限支持 AMD CPU、ARM CPU 和 NVIDIA GPU
对 Keras/JAX 的实验性 FP8 量化支持
实验性 FP8 KV 缓存/注意力静态量化
实验性 NVFP4 和 MXFP4 量化支持
仅权重大型语言模型加载
Intel® Neural Compressor入门
安装框架依赖项：根据您的部署环境选择并安装必要的包（例如，`pip install neural-compressor-pt`）。
配置量化：为您的模型定义量化配置，例如 FP8Config。
准备模型：使用 `prepare` 函数将量化配置集成到您的模型中。
转换模型：应用 `convert` 函数以完成模型压缩。
部署和优化：将压缩后的模型集成到您的应用程序中以提高推理性能。
Intel® Neural Compressor的使用案例
- LLM 量化
- VLM 优化
- 硬件加速
- 框架集成
- 性能调优
- 混合精度训练
