Preparan partida de equipo profesional vs 5 Bots para TI8

Equipo de investigadores e ingenieros en OpenAI vienen desarrollando desde hace meses software que permite jugar Dota 2 contra 5 Bots.

Aquí un extracto de la presentación de OpenAI Five:

• Nuestro equipo de cinco Bots, OpenAI Five, ha comenzado a derrotar a los equipos de personas aficionadas en Dota 2. Mientras que hoy jugamos con restricciones, nuestro objetivo es vencer a un equipo de profesionales en The International en agosto sujeto solo a un conjunto limitado de héroes.
• Puede que no tengamos éxito por que Dota 2 es uno de los juegos de esports más populares y más complejos del mundo, con profesionales creativos y motivados que entrenan durante todo el año para ganar parte del pozo de premios anual de $ 40 millones de Dota (el más grande de cualquier juego de esports).
• Las Bots de OpenAI Five vienen jugando en promedio el tiempo estimado de 180 años de juegos contra sí mismo todos los días, aprendiendo a través del juego. Entrenan usando una versión ampliada de Optimización de Políticas Proximales que se ejecuta en 256 GPU y 128,000 núcleos de CPU: una versión de mayor escala del sistema que creamos para jugar la variante individual mucho más simple del juego el año pasado.
• Usando una LSTM separada para cada héroe y sin datos humanos, aprenden estrategias reconocibles. Esto indica que el aprendizaje de refuerzo puede producir una planificación a largo plazo con una escala grande pero alcanzable, sin avances fundamentales, contrariamente a nuestras propias expectativas al comenzar el proyecto.
• Para evaluar nuestro progreso, el 28 de julio presentaremos un partido frente a los mejores jugadores que será trasmitido a través de Twitch.

Dota 2 es un juego de estrategia en tiempo real jugado entre dos equipos de cinco jugadores, con cada jugador controlando un personaje llamado “héroe”. Un Bot con Inteligencia Artificial (AI) que juega Dota debe dominar lo siguiente:

• Largos horizontes de tiempo. Las partidas de Dota funcionan a 30 cuadros por segundo durante un promedio de 45 minutos, lo que da como resultado 80,000 tics por juego.
• Estado parcialmente observado. Las unidades y los edificios solo pueden ver el área que los rodea. El resto del mapa está cubierto por una niebla que oculta a los enemigos y sus estrategias.
• Espacio de acción continuo de gran dimensión. En Dota, cada héroe puede realizar docenas de acciones y muchas acciones se dirigen a otra unidad o a una posición en el suelo. Dividimos el espacio en 170,000 posibles acciones por héroe (no todos son válidos en cada tick, como el uso de un hechizo en el tiempo de reutilización)
• Espacio de observación continua de alta dimensión. Dota se juega en un gran mapa continuo que contiene diez héroes, docenas de edificios, docenas de unidades neutrales y una larga cola de características del juego como runas, árboles y guardianes. Nuestro modelo observa el estado de un juego de Dota a través del Bot API de Valve con 20,000 datos (en su mayoría puntos flotantes) que representan toda la información a la que un humano puede acceder.

Las reglas de Dota también son muy complejas: el juego se ha desarrollado activamente durante más de una década, con la lógica del juego implementada en cientos de miles de líneas de código. Esta lógica requiere milisegundos por tick para ejecutarse, frente a nanosegundos para los motores de Ajedrez. El juego también recibe una actualización una vez cada dos semanas, cambiando constantemente la semántica del entorno.

Lista actual de restricciones de los Bots OpenAI:

• Solo usan a Necrophos, Sniper, Viper, Crystal Maiden y Lich.
• No usan la protección de las estructuras.
• No van por Roshan.
• No usan objetos que los hacen invisibles (consumibles y artículos relevantes).
• No convocan unidades ni crean ilusiones.
• No compran Divine Rapier, Bottle, Quelling Blade, Boots of Travel, Tome of Knowledge ni Infused Raindrop.
• No hacen a los mensajeros invulnerables.
• No usan el scan del mapa.

Video de la presentación:

Enlace Relacionado

• VIA OpenAI Five: Enlace