Beschreibung
HRM-Text-1B ist ein anspruchsvolles Sprachmodell, das von Sapient Intelligence entwickelt wurde und über eine Architektur mit 1 Milliarde Parametern verfügt. Es basiert auf der Architektur des Hierarchical Reasoning Model (HRM), die ein duales Zeitskalen-Rekurrenzdesign verwendet. Dieses Design integriert zwei Transformer-Module, hoch- und niedrigstufig, um Eingabeeinbettungen über mehrere Zyklen zu verarbeiten, was eine unbegrenzte Berechnungstiefe bei einer begrenzten Anzahl von Parametern ermöglicht.
Weiterlesen
Das Modell ist auf einem PrefixLM-Ziel mit Bedingungspräfix-Tokens vortrainiert, was es für verschiedene NLP-Aufgaben wie Klassifikation, Extraktion und strukturierte Ausgaben geeignet macht. Es ist jedoch wichtig zu beachten, dass HRM-Text-1B ein Pre-Alignment-Modell-Checkpoint ist und nicht für Chat- oder Anweisungsfolgen optimiert wurde. Benutzer, die an solchen Anwendungen interessiert sind, müssen eine weitere Ausrichtung durchführen, wie z.B. überwachte Feinabstimmung (SFT) oder verstärkendes Lernen (RL) mit aufgabenspezifischen Daten.
HRM-Text-1B unterstützt eine Reihe von Prompting-Techniken, einschließlich direkter Bedingungen mit Few-Shot-Beispielen für NLP-Aufgaben und zusammengesetzten Bedingungen für Denk- und Mathematikaufgaben. Die Architektur des Modells umfasst Funktionen wie gated attention, RoPE-Positionskodierung und SwiGLU-Aktivierung, die eine robuste Leistung über verschiedene Aufgaben hinweg gewährleisten.
Obwohl das Modell überwiegend auf englischen Textkorpora trainiert wurde, hat es Potenzial für die Anpassung an Programmieraufgaben durch Experimente von Drittanbietern gezeigt. Benutzer sollten sich jedoch seiner Einschränkungen bewusst sein, einschließlich potenzieller Vorurteile und Ungenauigkeiten in den Ausgaben. HRM-Text-1B ist Open Source unter der Apache License 2.0 und fördert weitere Forschung und Entwicklung.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
HRM-Text-1B im Überblick
1 Milliarde Parameter
Architektur des Hierarchical Reasoning Model
Dual-Zeitskalen-Rekurrenzdesign
PrefixLM-Zielvortraining
Gated Attention-Mechanismus
RoPE-Positionskodierung
SwiGLU-Aktivierung
Open Source unter Apache License 2.0
Erste Schritte mit HRM-Text-1B
Zugriff auf die Modellseite: Besuchen Sie die Hugging Face-Modellseite für HRM-Text-1B.
Authentifizieren: Melden Sie sich bei Ihrem Hugging Face-Konto an.
Konfigurieren: Richten Sie das Modell mit der erforderlichen Version von Transformers ein.
Eingaben senden: Verwenden Sie geeignete Prompting-Techniken für Ihre Aufgaben.
Feinabstimmung: Führen Sie eine zusätzliche Ausrichtung für spezifische Anwendungen durch.
HRM-Text-1B's Anwendungsfälle
- NLP-Klassifikation
- Datenextraktion
- Denkaufgaben
- Kurzantworten
- Offene Generierung
