AlphaStar

Im Gegensatz zu früheren KI-Forschungen operiert AlphaStar unter Einschränkungen, die denen menschlicher Spieler ähneln, wie z. B. einem begrenzten Sichtfeld durch eine Kamera und Einschränkungen bei der Aktionsfrequenz. Es kann als und gegen alle drei Rassen in StarCraft II spielen: Protoss, Terraner und Zerg. Jede Rasse wird von einem einzigen neuronalen Netz gesteuert, und der Trainingsprozess ist vollständig automatisiert, beginnend mit Agenten, die durch überwachtes Lernen trainiert wurden. AlphaStar spielte auf dem offiziellen Battle.net-Server unter Verwendung derselben Karten und Bedingungen wie menschliche Spieler und erreichte eine Platzierung über 99,8 % der aktiven Spieler.

Die Entwicklung von AlphaStar baut auf Konzepten wie lernbasierten Systemen und Self-Play auf, die von Systemen wie TD-Gammon eingeführt und in Spielen wie Go, Schach, Shogi, Dota 2 und Quake III demonstriert wurden. Eine Schlüsselinnovation ist die "League"-Trainingsmethode, die fiktives Self-Play durch die Einbeziehung von "Exploiter-Agenten" neben den Hauptagenten erweitert. Während Hauptagenten darauf abzielen, gegen alle Gegner zu gewinnen, sind Exploiter-Agenten darauf ausgelegt, die Schwächen der Hauptagenten aufzudecken und so eine robustere und vielfältigere Strategieentwicklung zu fördern. Dieser Ansatz behebt Nachteile des traditionellen Self-Play, wie z. B. das Vergessen früherer Strategien.

Die Exploration im riesigen Aktionsraum von StarCraft II ist eine weitere Herausforderung, die AlphaStar angeht. Die KI nutzt Imitationslernen in Kombination mit fortschrittlichen neuronalen Netzwerkarchitekturen und Techniken aus dem Sprachmodellieren, um eine anfängliche Politik zu erstellen, die besser spielt als ein erheblicher Teil der aktiven Spieler. Eine latente Variable wird verwendet, um menschliche Eröffnungszüge zu kodieren, wodurch übergeordnete Strategien erhalten bleiben und die Exploration geleitet wird. Dies ermöglicht es AlphaStar, mehrere Strategien innerhalb eines einzigen neuronalen Netzes für jede Rasse darzustellen, ohne während der Bewertung auf bestimmte Eröffnungen konditioniert zu sein.

Das Gameplay von AlphaStar wurde als faszinierend und unorthodox beschrieben, mit den Reflexen von Top-Profis, aber mit eigenen einzigartigen Strategien. Die Trainingsmethodik, bei der Agenten in einer Liga gegeneinander antreten, hat zu unkonventionellem Gameplay geführt, das Fragen nach dem vollen Umfang der strategischen Möglichkeiten von StarCraft aufwirft. Die Leistung der KI, die unter menschenähnlichen Einschränkungen erzielt wurde, liefert starke Beweise für die Skalierbarkeit allgemeiner Lerntechniken in komplexen, dynamischen Multi-Akteur-Umgebungen, mit potenziellen Anwendungen in realen Domänen.