AlphaStar

Ao contrário de pesquisas anteriores em IA, AlphaStar opera sob restrições semelhantes às dos jogadores humanos, como um campo de visão limitado através de uma câmera e restrições na frequência de ações. Ele pode jogar como e contra todas as três raças em StarCraft II: Protoss, Terran e Zerg. Cada raça é controlada por uma única rede neural, e o processo de treinamento é totalmente automatizado, começando com agentes treinados por meio de aprendizado supervisionado. AlphaStar jogou no servidor oficial Battle.net, usando os mesmos mapas e condições que os jogadores humanos, e alcançou uma classificação acima de 99,8% dos jogadores ativos.

O desenvolvimento do AlphaStar baseia-se em conceitos como sistemas baseados em aprendizado e auto-jogo, pioneiros por sistemas como TD-Gammon e demonstrados em jogos como Go, xadrez, shogi, Dota 2 e Quake III. Uma inovação chave é o método de treinamento "League", que estende o auto-jogo fictício incorporando "agentes exploradores" ao lado dos agentes principais. Enquanto os agentes principais visam vencer contra todos os oponentes, os agentes exploradores são projetados para expor as fraquezas dos agentes principais, promovendo um desenvolvimento de estratégia mais robusto e diversificado. Essa abordagem aborda desvantagens do auto-jogo tradicional, como o esquecimento de estratégias anteriores.

A exploração no vasto espaço de ações de StarCraft II é outro desafio abordado pelo AlphaStar. A IA usa aprendizado por imitação, combinado com arquiteturas avançadas de redes neurais e técnicas de modelagem de linguagem, para criar uma política inicial que joga melhor do que uma porção significativa de jogadores ativos. Uma variável latente é usada para codificar os movimentos de abertura humanos, preservando estratégias de alto nível e guiando a exploração. Isso permite que o AlphaStar represente múltiplas estratégias dentro de uma única rede neural para cada raça, sem ser condicionado a aberturas específicas durante a avaliação.

O gameplay do AlphaStar foi descrito como intrigante e não ortodoxo, possuindo os reflexos dos melhores profissionais, mas com suas próprias estratégias únicas. A metodologia de treinamento, envolvendo agentes competindo em uma liga, levou a um gameplay não convencional que levanta questões sobre a extensão total das possibilidades estratégicas de StarCraft. O desempenho da IA, alcançado sob restrições semelhantes às humanas, fornece fortes evidências para a escalabilidade de técnicas de aprendizado de propósito geral em ambientes complexos, dinâmicos e multiator, com aplicações potenciais em domínios do mundo real.