描述
pplx-embed-v2-context-9b-preview 是一个专门为检索增强生成（RAG）系统设计的上下文嵌入模型。该模型通过将文档分割成块并将这些块一起编码来处理文档。生成的嵌入反映了每个块的上下文，提供了更细致的表示。这是一个预览版本，用户应注意权重、嵌入和接口在未来版本中可能会发生变化，从而可能影响向后兼容性。
阅读更多
该模型对查询和文档采用不同的编码方法，使用 encode_queries 对查询进行编码，使用 encode 对文档块进行编码。需要注意的是，使用文档方法对查询进行编码可能会降低检索质量。该模型生成未归一化的 int8 量化嵌入，可以使用余弦相似度进行比较，或进行归一化以便进行点积比较。
pplx-embed-v2-context-9b-preview 模型需要特定的依赖项，包括 transformers 版本 5.4.0 或更高版本、torch、numpy、safetensors 和 tqdm。它利用自定义代码，加载模型时需要使用 trust_remote_code=True。用户可以调整各种选项，例如批量大小、嵌入的归一化、转换为 NumPy 数组和设备分配。
该模型使用 Matryoshka 损失在 1024 和 2048 的维度上进行训练，允许嵌入大小的灵活性。然而，仅训练了 1024 和 2048 维度，不支持其他截断大小。该模型非常适合需要上下文嵌入进行文档处理的 RAG 系统的开发人员和研究人员。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
pplx-embed-v2-context-9b-preview亮点
上下文嵌入模型
支持 RAG 系统
编码文档块
生成 int8 量化嵌入
查询和文档的单独编码
自定义代码支持
Matryoshka 损失训练
维度：1024 和 2048
pplx-embed-v2-context-9b-preview入门
访问模型：访问 Hugging Face
身份验证：使用您的凭据
设置环境：安装依赖项
通过 API 集成：使用 encode 和 encode_queries
优化：调整批量大小和归一化
pplx-embed-v2-context-9b-preview的使用案例
- 文档分块
- 查询编码
- 上下文分析
- RAG 系统集成
- 嵌入比较
