Beschreibung
Microsoft Research hat Phi-2 vorgestellt, eine bedeutende Weiterentwicklung im Bereich der kleinen Sprachmodelle (SLMs). Dieses Modell mit 2,7 Milliarden Parametern weist bemerkenswerte Fähigkeiten im logischen Denken und Sprachverständnis auf und positioniert sich damit als führend unter den Basis-Sprachmodellen mit weniger als 13 Milliarden Parametern. Phi-2 erzielt auf verschiedenen Benchmarks Spitzenleistungen und erreicht oft die Leistung von Modellen, die bis zu 25-mal größer sind, oder übertrifft sie. Dieser Leistungssprung wird auf innovative Skalierungstechniken für Modelle und die sorgfältige Kuratierung von Trainingsdaten zurückgeführt.
Weiterlesen
Die Entwicklung von Phi-2 baut auf früheren Modellen der Phi-Suite auf, einschließlich Phi-1 und Phi-1.5. Während Phi-1 bei der Python-Programmierung glänzte, zeigte Phi-1.5 beim logischen Denken und Sprachverständnis eine vergleichbare Leistung wie Modelle, die fünfmal größer waren. Phi-2 verfeinert diese Fähigkeiten weiter, indem es das Wissen aus Phi-1.5 in eine größere Architektur integriert, was die Trainingskonvergenz beschleunigt und die Benchmark-Ergebnisse verbessert.
Eine zentrale Erkenntnis, die den Erfolg von Phi-2 ausmacht, ist die entscheidende Rolle der Qualität der Trainingsdaten. Microsoft Research legte einen extremen Fokus auf Daten von „Lehrbuchqualität“, einschließlich synthetischer Datensätze, die darauf ausgelegt sind, logisches Denken, Allgemeinwissen, Wissenschaft, tägliche Aktivitäten und Theory of Mind zu vermitteln. Dies wird durch sorgfältig gefilterte Webdaten ergänzt, die aufgrund ihres Bildungsgehalts und ihrer Inhaltsqualität ausgewählt wurden. Das Modell basiert auf der Transformer-Architektur und wurde auf 1,4 Billionen Tokens aus mehreren Durchläufen über eine Mischung aus synthetischen und Web-Datensätzen für NLP- und Coding-Aufgaben trainiert.
Phi-2 ist im Modellkatalog des Azure AI Studio verfügbar und fördert Forschung und Entwicklung. Obwohl Phi-2 kein Reinforcement Learning from Human Feedback (RLHF) oder Instruction Fine-Tuning durchlaufen hat, zeigt es im Vergleich zu einigen abgestimmten Open-Source-Modellen ein besseres Verhalten in Bezug auf Toxizität und Bias. Dies steht im Einklang mit Beobachtungen bei Phi-1.5 und wird auf die maßgeschneiderten Techniken zur Datenkuratierung zurückgeführt.
Die kompakte Größe von Phi-2 macht es zu einer hervorragenden Plattform für Forscher, die Bereiche wie mechanistische Interpretierbarkeit, Sicherheitsverbesserungen und Fine-Tuning-Experimente für verschiedene Aufgaben untersuchen. Seine Leistung bei komplexen Benchmarks, einschließlich Big Bench Hard, logischem Denken, Sprachverständnis, Mathematik und Programmierung, reicht an größere Modelle wie Mistral 7B und Llama-2-Modelle heran oder übertrifft sie und konkurriert sogar mit Gemini Nano 2.
- KategorieKI-Modelle & LLMs
- BereitstellungCloud
- PlattformenWeb
Phi-2 Sprachmodell im Überblick
2,7 Milliarden Parameter
Spitzenleistung für Modelle unter 13 Milliarden Parametern
Übertrifft Modelle, die bis zu 25-mal größer sind, bei komplexen Benchmarks
Fortgeschrittene Fähigkeiten im logischen Denken und Sprachverständnis
Trainiert auf Daten von „Lehrbuchqualität“ und kuratierten Webdaten
Transformer-basierte Architektur
Ziel der Vorhersage des nächsten Wortes
Trainiert auf 1,4 Billionen Tokens
Verfügbar im Modellkatalog des Azure AI Studio
Zeigt starke Leistung ohne RLHF oder Instruction Fine-Tuning
Weist geringere Toxizität und Bias im Vergleich zu einigen abgestimmten Modellen auf
Ideal für Forschung, Interpretierbarkeit und Fine-Tuning-Experimente
Erste Schritte mit Phi-2 Sprachmodell
Modellzugriff: Suchen Sie Phi-2 im Modellkatalog des Azure AI Studio.
Authentifizierung: Richten Sie die erforderlichen Authentifizierungsanmeldeinformationen für Azure AI-Dienste ein.
Umgebung einrichten: Konfigurieren Sie Ihre Entwicklungsumgebung mit den erforderlichen Bibliotheken und SDKs.
Integration über API: Nutzen Sie die bereitgestellten API-Endpunkte, um Prompts zu senden und Modellantworten zu erhalten.
Experimentieren: Beginnen Sie mit dem Fine-Tuning oder führen Sie Forschungsversuche mit den Fähigkeiten des Modells durch.
Phi-2 Sprachmodell's Anwendungsfälle
- Forschungsexploration
- Fine-Tuning-Experimente
- Logische Denkaufgaben
- Sprachverständnis
- Logisches Denken
