Esta IA usó GPT-4 para convertirse en un hábil jugador de Minecraft

Los investigadores de IA han creado un bot de Minecraft que puede explorar y expandir sus habilidades en el mundo abierto del juego, pero a diferencia de otros bots, este básicamente escribió su propio código a través de prueba y error y muchos de solicitudes GPT-4.

Este sistema experimental, llamado Voyager, es un ejemplo de un "agente encarnado", una IA que puede moverse y actuar libremente y con un propósito en un entorno simulado o real. Las IA tipo asistente personal y los chatbots no necesariamente tienen que hacer cosas, y mucho menos navegar en un mundo complejo, para hacer esas cosas. Pero esto es exactamente lo que podría esperarse de un robot doméstico en el futuro, por lo que hay mucha investigación sobre cómo podrían hacerlo.

Minecraft es un buen lugar para probar cosas como esta porque es una representación muy (muy) aproximada del mundo real, con reglas y física simples y directas, pero también lo suficientemente complejo y abierto como para lograr mucho o probar. Los simuladores especialmente diseñados también son geniales, pero tienen sus propias limitaciones.

MineDojo es un marco de simulación basado en Minecraft porque no puedes simplemente colocar una IA aleatoria allí y esperar que comprenda qué están haciendo todos esos bloques y cerdos. Sus creadores (muy superpuestos con el equipo de Voyager) compilaron videos de YouTube sobre el juego, transcripciones, artículos de wiki y un montón de publicaciones de Reddit de r/minecraft, entre otras cosas, para que los usuarios creen o modifiquen un modelo de IA. encima de ellos. Esto también permite que estos modelos se evalúen de manera más o menos objetiva al ver qué tan bien pueden hacer cosas como construir una cerca alrededor de una llama o encontrar y extraer un diamante.

Voyager hace un excelente trabajo en estas tareas, con un rendimiento mucho mejor que el único otro modelo que se le acerca, Auto-GPT. Pero adoptan un enfoque similar: usan GPT-4 para escribir su propio código sobre la marcha.

Normalmente, solo entrenas a un modelo con todos esos buenos datos de Minecraft y esperas que descubra cómo luchar contra los esqueletos cuando se pone el sol. Sin embargo, la Voyager comienza de manera relativamente ingenua, y cuando encuentra cosas en el juego, entabla una pequeña conversación interna con GPT-4 sobre lo que debe hacer y cómo.

Indique la siguiente acción y agregue habilidades a la pila. Autor de la foto: mi dojo

Por ejemplo, cuando cae la noche, aparecen estos esqueletos. El agente tiene una idea general, pero se pregunta: ¿Qué haría un buen jugador de este juego cuando hay monstruos alrededor? Bueno, GPT-4 dice que si quieres explorar el mundo de manera segura, debes fabricar y equipar una espada, luego golpear el esqueleto con ella sin que te golpeen. Y ese sentido general de qué hacer se traduce en objetivos concretos: recolectar rocas y madera, construir una espada en la mesa de trabajo, equiparla y luchar contra un esqueleto.

Una vez que se hacen esas cosas, se colocan en una biblioteca de habilidades generales para que más tarde, cuando la misión sea "Adéntrate en una cueva para encontrar mineral de hierro", no tiene que aprender a pelear desde cero de nuevo. Todavía usa GPT, pero usa el GPT-3.5 más barato y rápido, que le indica las habilidades más relevantes para una situación dada, por lo que no está tratando de minar el esqueleto y luchar contra el mineral.

Es similar a un agente como Auto-GPT que, cuando se enfrenta a una interfaz que aún no conoce, tiene que aprender a navegar en ella para alcanzar su objetivo. Pero Minecraft es un entorno mucho más profundo de lo que normalmente resuelve, por lo que a un agente especial como Voyager le va mucho mejor. Encuentra más cosas, aprende más habilidades y explora un área mucho más grande que los otros bots.

Curiosamente, pero quizás no sea sorprendente, GPT-4 limpia el piso con GPT-3.5 (es decir, ChatGPT) cuando se trata de generar código útil. En una prueba que reemplazó el primero por el segundo, el agente chocó contra una pared temprano, tal vez literalmente, y no pudo mejorar. Hablando con los dos modelos, puede que no sea obvio que uno de ellos es mucho más inteligente, pero la verdad es que no tienes que ser particularmente inteligente para tener lo que parece ser una conversación inteligente (pregúntame cómo lo sé) . La codificación es mucho más difícil y GPT-4 fue una gran actualización allí.

Esta investigación no se trata de hacer que los jugadores de Minecraft se vuelvan obsoletos, se trata de encontrar métodos mediante los cuales los modelos de IA relativamente simples puedan mejorar en función de sus "experiencias", ya que no hay una palabra mejor para ello. Si queremos que los robots nos ayuden en nuestros hogares, hospitales y oficinas, deben aprender y aplicar esas lecciones en acciones futuras.

Puedes leer más sobre Voyager aquí.