描述
HRM-Text-1B 是由 Sapient Intelligence 开发的一个复杂的语言模型，具有 10 亿参数的架构。它基于层次推理模型（HRM）架构，采用双时间尺度递归设计。该设计集成了两个 Transformer 模块，高层和低层，以在多个周期内处理输入嵌入，允许无限的计算深度，同时保持参数数量的有限性。
阅读更多
该模型在带有条件前缀标记的 PrefixLM 目标上进行了预训练，使其适用于各种自然语言处理任务，如分类、提取和结构化输出。然而，需要注意的是，HRM-Text-1B 是一个预对齐模型检查点，并未针对聊天或指令跟随任务进行优化。对这些应用感兴趣的用户需要在特定任务数据上进行进一步的对齐，例如监督微调（SFT）或强化学习（RL）。
HRM-Text-1B 支持多种提示技术，包括针对自然语言处理任务的直接条件与少量示例，以及用于推理和数学任务的复合条件。该模型的架构包括门控注意力、RoPE 位置编码和 SwiGLU 激活等特性，确保在各类任务中的强大性能。
虽然该模型主要在英语文本语料库上进行训练，但通过第三方实验显示出在编码任务中的适应潜力。然而，用户应注意其局限性，包括输出中的潜在偏见和不准确性。HRM-Text-1B 在 Apache 许可证 2.0 下开源，鼓励进一步的研究和开发。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
HRM-Text-1B亮点
10 亿参数
层次推理模型架构
双时间尺度递归设计
PrefixLM 目标预训练
门控注意力机制
RoPE 位置编码
SwiGLU 激活
在 Apache 许可证 2.0 下开源
HRM-Text-1B入门
访问模型页面：访问 HRM-Text-1B 的 Hugging Face 模型页面。
身份验证：登录您的 Hugging Face 账户。
配置：使用所需的 transformers 版本设置模型。
发送提示：使用适当的提示技术进行任务。
微调：对特定应用进行额外的对齐。
HRM-Text-1B的使用案例
- 自然语言处理分类
- 数据提取
- 推理任务
- 短文本问答
- 开放式生成
