Beschreibung
Das StableLM-Projekt, das von Stability AI auf GitHub gehostet wird, stellt eine bedeutende Anstrengung in der Entwicklung von Open-Source-Large-Language-Models (LLMs) dar. Dieses Repository dient als zentraler Knotenpunkt für die laufende Forschung und Entwicklung der StableLM-Reihe, die kontinuierlich mit neuen Modell-Checkpoints und Fortschritten aktualisiert wird.
Weiterlesen
Im Kern zielt StableLM darauf ab, leistungsstarke und zugängliche Sprachmodelle für die KI-Community bereitzustellen. Das Projekt hat mehrere bemerkenswerte Modelle veröffentlicht, darunter StableLM-3B-4E1T, ein Modell mit 3 Milliarden Parametern, das unter einem Multi-Epoch-Regime vortrainiert wurde, um die Auswirkungen wiederholter Token auf die Leistung zu untersuchen. Dieses Modell wurde 4 Epochen lang auf 1 Billion Token trainiert und orientiert sich an der Forschung zur Skalierung datenbeschränkter Sprachmodelle. Seine Architektur ist ein reiner Decoder-Transformer, ähnlich wie LLaMA, mit spezifischen Modifikationen wie Rotary Position Embeddings und LayerNorm.
Weitere Iterationen umfassen die StableLM-Alpha v2-Modelle, die in Größen mit 3B und 7B Parametern erhältlich sind. Diese Modelle integrieren architektonische Verbesserungen wie SwiGLU und nutzen qualitativ hochwertigere Datenquellen, was die nachgelagerte Leistung erheblich verbessert. Die Trainingsdaten für diese Modelle umfassen eine gefilterte Mischung aus Open-Source-Datensätzen wie Falcon RefinedWeb, RedPajama-Data, The Pile und StarCoder, mit einem starken Fokus auf Webtext. Die Kontextlänge für diese Modelle beträgt 4096 Token.
Stability AI hat auch StableVicuna entwickelt, ein RLHF-Fine-Tune von Vicuna-13B, das darauf abzielt, einen Open-Source-RLHF-LLM-Chatbot zu erstellen. Aufgrund der nicht-kommerziellen Lizenz von LLaMA werden die Gewichte von StableVicuna als Deltas über das Originalmodell veröffentlicht.
Das Repository bietet Ressourcen für Entwickler, um den Einstieg zu erleichtern, einschließlich Quickstart-Anleitungen und Beispielcode-Snippets für die Ausführung von Inferenz mit Modellen wie StableLM-Tuned-Alpha-7B auf Hugging Face. Das Projekt fördert die Beteiligung der Community und sucht Beiträge zur Portierung von llama.cpp und zur Integration mit Open Assistant für die Sammlung von Feedbackdaten. Benutzer werden darauf hingewiesen, dass, wie bei jedem vortrainierten LLM, die Antworten in ihrer Qualität variieren können und potenziell anstößige Inhalte enthalten könnten, was sich mit weiterer Entwicklung und Community-Feedback voraussichtlich verbessern wird.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
StableLM's Kernfunktionen
Repository für die Entwicklung von Open-Source-Sprachmodellen
Beherbergt die StableLM-Reihe von Sprachmodellen
Kontinuierlich mit neuen Checkpoints aktualisiert
Enthält Modelle wie StableLM-3B-4E1T
Bietet StableLM-Alpha v2 Modelle (3B und 7B)
Stellt StableVicuna bereit, ein RLHF-Fine-Tune
Bietet technische Berichte und Modellübersichten
Enthält Beispielcode für Inferenz
Fördert Community-Beiträge und Feedback
Modelle verfügbar unter den Lizenzen CC BY-SA-4.0 und CC BY-NC-SA-4.0
Code lizenziert unter Apache License 2.0
Erste Schritte mit StableLM
Klonen: Klonen Sie das Repository auf Ihren lokalen Rechner.
Abhängigkeiten installieren: Installieren Sie die notwendigen Bibliotheken und Frameworks.
Modell herunterladen: Besorgen Sie sich die gewünschten StableLM-Modell-Checkpoints von Hugging Face.
Konfigurieren: Richten Sie die Umgebung und Parameter für Inferenz oder Fine-Tuning ein.
Ausführen: Führen Sie die bereitgestellten Skripte für Inferenz oder benutzerdefinierte Modellnutzung aus.
Integrieren: Integrieren Sie Modelle in Ihre Anwendungen oder Forschungsprojekte.
StableLM's Anwendungsfälle
- Sprachmodellforschung
- Entwicklung von KI-Chatbots
- Textgenerierung
- Natürliches Sprachverständnis
- Fine-Tuning für spezifische Aufgaben
- Open-Source-KI-Entwicklung
