Beschreibung
Beam 1.0 DFlash2 ist ein Entwurfsmodell, das in Verbindung mit dem Beam-Sprachmodell arbeitet und einen einzigartigen Ansatz zur Sprachverarbeitung durch spekulative Dekodierung bietet. Dieses Modell ist nicht eigenständig; stattdessen fungiert es als Entwerfer, der in einem einzigen Vorwärtsdurchlauf einen Block von Tokens generiert und dabei die besten Kandidaten an jeder Position beibehält. Ein kleiner Selektor wählt dann den optimalen Pfad durch diese Kandidaten aus. Die Architektur des Modells umfasst fünf Schichten mit einer versteckten Größe von 5120 und nutzt zwei-tap dynamische Faltungen, um einen Genauigkeitsverlust gegen Ende des Blocks zu verhindern.
Weiterlesen
Der Entwerfer konditioniert auf versteckte Zustände von Beam und verwendet Beams eingefrorenes Embedding und Sprachmodellkopf erneut. Er verfügt über Aufmerksamkeit über den Kontext mit einem gleitenden Fenster von 4.096 Tokens, was sicherstellt, dass die Entwurfskosten mit der Kontextlänge nicht steigen. Mit 1,93 Milliarden Parametern wird Beam 1.0 DFlash2 mit einer Blockgröße von 16 trainiert, obwohl eine Größe von 8 für den Einsatz empfohlen wird.
In Bezug auf die Leistung zeigt Beam 1.0 DFlash2 beeindruckende Ergebnisse in verschiedenen Benchmarks, einschließlich GSM8K, MATH-500, HumanEval, MBPP und MT-Bench. Die Akzeptanzlänge des Modells variiert mit der Eingabeaufforderung und bleibt auch bei langen Kontexten effizient. Darüber hinaus bietet das Modell eine signifikante Beschleunigung der Dekodierung, wobei die Ausgabetokens pro Sekunde erheblich bei unterschiedlichen Ebenen der Parallelität steigen.
Beam 1.0 DFlash2 ist für die Integration mit Beam in den Formaten bf16, FP8 oder NVFP4 konzipiert und verwendet Rezepte wie SGLang, vLLM und TokenSpeed. Dieses Modell eignet sich besonders für Anwendungen, die hohe Genauigkeit und Effizienz in der Sprachverarbeitung erfordern, und ist ein wertvolles Werkzeug für Entwickler und Forscher im Bereich der künstlichen Intelligenz.
- KategorieKI-Modelle & LLMs
- BereitstellungCloud
- PlattformenWeb
Beam 1.0 DFlash2 im Überblick
Spekulativer Dekodierungsserver
Token-Entwurf mit Auswahl der besten Kandidaten
Zwei-tap dynamische Faltungen
Aufmerksamkeit mit gleitendem Fenster von 4.096 Tokens
1,93 Milliarden Parameter
Fünfschichtige Architektur
Integration mit Beams eingefrorenem Embedding
Unterstützung für bf16, FP8, NVFP4
Erste Schritte mit Beam 1.0 DFlash2
Modellzugriff: Besuchen Sie Hugging Face
Authentifizierung: Verwenden Sie Ihre Anmeldeinformationen
Umgebung einrichten: System für Beam konfigurieren
Integration über API: Verbindung mit bereitgestellten Rezepten herstellen
Optimierung: Einstellungen für die Leistung anpassen
Beam 1.0 DFlash2's Anwendungsfälle
- Sprachverarbeitung
- Token-Entwurf
- Kontextuelle Aufmerksamkeit
- KI-Forschung
- Modellintegration










