¿Pueden los robots aprender de los videos?

Investigadores de la Universidad Carnegie Mellon han permitido que los robots aprendan las tareas del hogar al mirar videos caseros que muestran a personas realizando tareas cotidianas.

Los métodos actuales de entrenamiento de robots se basan en demostraciones humanas o entornos simulados, que consumen mucho tiempo y son propensos a errores. Hasta ahora, se ha descubierto que los robots aprenden observando a los humanos realizar tareas. Sin embargo, el método conocido como aprendizaje de robot imitador de humanos en estado salvaje (WHIRL, por sus siglas en inglés) requería que los humanos realizaran tareas en el mismo entorno que el robot.

Los investigadores de la Universidad Carnegie Mellon han permitido que los robots aprendan las tareas del hogar al ver videos caseros de personas que completan tareas mundanas. Los investigadores han mejorado la utilidad de los robots domésticos, lo que permite cocinar, limpiar y otras asistencias. Dos robots dominan 12 tareas, incluida la apertura de cajones, puertas y tapas de hornos; sacar las ollas de la estufa; y lidiar con teléfonos, vegetales y latas de sopa.

El último modelo elimina la necesidad de demostraciones humanas y no requiere que el robot funcione en un entorno idéntico. Al igual que WHIRL, el robot aún necesita práctica para completar con éxito una tarea. La investigación del equipo mostró que pueden asumir una nueva tarea en tan solo 25 minutos. Con este modelo, los robots pueden explorar con curiosidad el mundo que les rodea. Para enseñarle al robot cómo interactuar con los objetos, el equipo implementó el concepto de prestaciones. Las prestaciones provienen de la psicología y se refieren a las posibilidades que un entorno ofrece a un individuo. Este término se ha ampliado para incluir el diseño y la interacción humano-computadora, y denota las acciones potenciales que percibe un individuo.

En el contexto del comportamiento robótico virtual (VRB), las posibilidades sirven como pautas para determinar la ubicación y la forma en que un robot puede interactuar con un objeto, extrayendo información del comportamiento humano. Por ejemplo, si el robot observa que una persona abre un cajón, reconoce los puntos de contacto, como el tirador y la dirección de movimiento del cajón, normalmente desde la posición inicial. Al analizar varios videos de personas que abren cajones, el robot puede adquirir la capacidad de abrir cualquier cajón. Para la investigación, el equipo utilizó conjuntos de datos de video como Ego4D y Epic Kitchens.

Los investigadores creen que esta investigación tiene el potencial de permitir que los robots adquieran conocimientos de la amplia gama de videos de Internet y YouTube a los que pueden acceder.

Referencia: Se puede encontrar más información en el sitio web del proyecto y en un documento presentado en la Conferencia sobre Visión y Reconocimiento de Patrones en junio.