描述
MetaEncoder v1 是由 Facebook 开发的强大特征提取模型,拥有 280 亿参数。托管在 Hugging Face 上,它为处理复杂数据类型的开发者和研究人员提供了强有力的解决方案。该模型旨在易于使用,要求 `transformers>=5.15` 和 80 GB GPU,以在 bf16 精度下实现最佳性能。
阅读更多
在其核心,MetaEncoder v1 提供三种主要功能:`encode`、`retrieve` 和 `decide`。`encode` 函数允许用户将各种输入(如字符串、PIL 图像或包含文本、图像或视频帧的字典)嵌入到一个 (n, 6656) float32 张量中。这些嵌入经过 L2 归一化,可用于存储、聚类或比较任务。该模型对指令敏感,这意味着相同的输入可以根据提供的上下文以不同方式嵌入,从而增强其在特定用例中的适应性。
`retrieve` 函数旨在根据给定查询对语料库进行排名。用户可以传递一个查询和一个语料库(可以是项目列表或预编码张量),并附带可选的指令。它返回一个 `Hit` 对象的列表,按从最佳到最差的顺序排列,非常适合搜索和信息检索应用。此功能对于大型语料库特别高效,因为语料库可以编码一次,然后重复搜索。
最后,`decide` 函数使模型能够回答关于给定状态的 Jev 风格问题。该状态可以是字符串或任何 JSON 值, optionally 附带图像或视频。问题的结构包括 'noul'(是/否)、'choice'(多个选项)或 'score'(有序级别)等类型,每种类型都有特定的指令和标准。模型提供带有概率、置信分数和原始余弦相似度的答案。还提供 `decide_batch` 函数以同时处理多个状态,并且校准功能允许用户根据特定数据微调模型的温度,以提高准确性。
MetaEncoder v1 的一个主要优势是其内部提示格式化,这消除了调用者手动编写提示的需要。包装器确保输入的格式与训练时完全相同,保持一致性并简化集成。这包括处理系统和用户的轮次、图像和视频编码以及池化。对于高级用户,可以直接访问 `modeling_metaencoder.py`,以绕过包装器进行自定义提示格式化和池化,在仍然利用模型核心功能的同时提供灵活性。
- 类别AI 模型与大语言模型
- 部署云端
- 平台Hugging Face
MetaEncoder v1亮点
特征提取模型
280 亿参数
嵌入输入(encode)
根据查询对语料库进行排名(retrieve)
回答 Jev 风格问题(decide)
支持文本、图像和视频输入
内部提示格式化
基于指令的嵌入
批量决策处理
模型温度校准
L2 归一化嵌入
无需手动编写提示
兼容 transformers>=5.15
需要 80 GB GPU(bf16)
直接访问建模以进行自定义
MetaEncoder v1入门
访问模型:导航到 Hugging Face 上的 facebook/meta-encoder-v1 页面。
设置环境:确保安装了 `transformers>=5.15` 并且有 80 GB GPU 可用于 bf16 精度。
嵌入输入:使用 `encode(inputs, instruction=None)` 调用生成文本、图像或视频的嵌入。
检索信息:利用 `retrieve(query, corpus, top_k=None, query_instruction=None, corpus_instruction=None)` 根据查询对语料库进行排名。
做出决策:使用 `decide(state, questions, images=None, video=None)` 回答关于给定状态的结构化问题。
校准模型:为了提高准确性,使用 `model.calibrate(answers, labels)` 和带标签的数据集来调整温度。
MetaEncoder v1的使用案例
- 信息检索
- 数据聚类
- 语义搜索
- 问答系统
- 内容理解
- 多模态数据处理
- 决策支持系统







