AlphaStar

A diferencia de investigaciones previas en IA, AlphaStar opera bajo restricciones similares a las de los jugadores humanos, como un campo de visión limitado a través de una cámara y restricciones en la frecuencia de acciones. Puede jugar como y contra las tres razas en StarCraft II: Protoss, Terran y Zerg. Cada raza es controlada por una única red neuronal, y el proceso de entrenamiento está completamente automatizado, comenzando con agentes entrenados mediante aprendizaje supervisado. AlphaStar jugó en el servidor oficial Battle.net, utilizando los mismos mapas y condiciones que los jugadores humanos, y logró una clasificación superior al 99.8% de los jugadores activos.

El desarrollo de AlphaStar se basa en conceptos como sistemas basados en aprendizaje y auto-juego, pioneros por sistemas como TD-Gammon y demostrados en juegos como Go, ajedrez, shogi, Dota 2 y Quake III. Una innovación clave es el método de entrenamiento "League" (Liga), que extiende el auto-juego ficticio incorporando "agentes explotadores" junto a los agentes principales. Mientras los agentes principales buscan ganar contra todos los oponentes, los agentes explotadores están diseñados para exponer las debilidades de los agentes principales, fomentando un desarrollo de estrategias más robusto y diverso. Este enfoque aborda las desventajas del auto-juego tradicional, como el olvido de estrategias previas.

La exploración en el masivo espacio de acciones de StarCraft II es otro desafío abordado por AlphaStar. La IA utiliza aprendizaje por imitación, combinado con arquitecturas avanzadas de redes neuronales y técnicas de modelado de lenguaje, para crear una política inicial que juega mejor que una porción significativa de los jugadores activos. Se utiliza una variable latente para codificar los movimientos de apertura humanos, preservando estrategias de alto nivel y guiando la exploración. Esto permite a AlphaStar representar múltiples estrategias dentro de una única red neuronal para cada raza, sin estar condicionada a aperturas específicas durante la evaluación.

El juego de AlphaStar ha sido descrito como intrigante y poco ortodoxo, poseyendo los reflejos de los mejores profesionales pero con sus propias estrategias únicas. La metodología de entrenamiento, que involucra a agentes compitiendo en una liga, ha llevado a un juego poco convencional que plantea preguntas sobre el alcance completo de las posibilidades estratégicas de StarCraft. El rendimiento de la IA, logrado bajo restricciones similares a las humanas, proporciona una fuerte evidencia de la escalabilidad de las técnicas de aprendizaje de propósito general en entornos complejos, dinámicos y multi-actor, con aplicaciones potenciales en dominios del mundo real.