Описание
HRM-Text-1B — это сложная языковая модель, разработанная компанией Sapient Intelligence, с архитектурой на 1 миллиард параметров. Она построена на архитектуре иерархической модели рассуждений (HRM), которая использует рекуррентный дизайн с двойным временным масштабом. Этот дизайн интегрирует два модуля Transformer — высокого и низкого уровня — для обработки входных эмбеддингов в течение нескольких циклов, что позволяет достигать неограниченной глубины вычислений при сохранении ограниченного количества параметров.
Читать далее
Модель предварительно обучена на задаче PrefixLM с токенами условного префикса, что делает её подходящей для различных задач обработки естественного языка, таких как классификация, извлечение и структурированный вывод. Однако важно отметить, что HRM-Text-1B является контрольной точкой модели предварительной настройки и не оптимизирована для задач чата или следования инструкциям. Пользователям, заинтересованным в таких приложениях, потребуется выполнить дальнейшую настройку, такую как контролируемая дообучение (SFT) или обучение с подкреплением (RL), на данных, специфичных для задач.
HRM-Text-1B поддерживает ряд техник подсказок, включая прямые условия с примерами в несколько выстрелов для задач NLP и составные условия для задач рассуждения и математики. Архитектура модели включает такие функции, как управляемое внимание, позиционное кодирование RoPE и активация SwiGLU, что обеспечивает надежную производительность в различных задачах.
Хотя модель в основном обучена на англоязычных текстовых корпусах, она показала потенциал для адаптации в задачах программирования через эксперименты третьих сторон. Тем не менее, пользователи должны быть осведомлены о её ограничениях, включая потенциальные предвзятости и неточности в выводах. HRM-Text-1B является открытым исходным кодом под лицензией Apache 2.0, что способствует дальнейшим исследованиям и разработкам.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о HRM-Text-1B
1 миллиард параметров
Архитектура иерархической модели рассуждений
Рекуррентный дизайн с двойным временным масштабом
Предварительное обучение на задаче PrefixLM
Механизм управляемого внимания
Позиционное кодирование RoPE
Активация SwiGLU
Открытый исходный код под лицензией Apache 2.0
Начало работы с HRM-Text-1B
Доступ к странице модели: посетите страницу модели HRM-Text-1B на Hugging Face.
Аутентификация: войдите в свою учетную запись Hugging Face.
Настройка: настройте модель с необходимой версией трансформеров.
Отправка подсказок: используйте соответствующие техники подсказок для ваших задач.
Дообучение: выполните дополнительную настройку для конкретных приложений.
Варианты использования HRM-Text-1B
- Классификация NLP
- Извлечение данных
- Задачи рассуждения
- Краткие ответы на вопросы
- Открытая генерация
