Stargazer: Un robot para filmar videos tutoriales

Investigadores de la Universidad de Toronto han desarrollado Stargazer, un robot de cámara interactivo para videos tutoriales atractivos que ayuda a los educadores y creadores de contenido.

El equipo de filmación robótico tiene un importante potencial de mercado de consumo y subraya la necesidad de que los robots entiendan a los humanos para permitir una colaboración más efectiva. El papel del robot es apoyar, no reemplazar, al ser humano.

Investigadores de la Universidad de Toronto han desarrollado Stargazer, un robot de cámara interactivo diseñado para ayudar a profesores universitarios y creadores de contenido a crear videos tutoriales atractivos que demuestran habilidades físicas. Stargazer permite la grabación de videos instructivos dinámicos, superando las limitaciones de las cámaras estáticas para aquellos que no tienen un camarógrafo.

El brazo robótico de Stargazer cuenta con una cámara y siete motores. Realiza un seguimiento autónomo de las áreas de interés moviéndose con el sujeto. El comportamiento de la cámara se adapta a las señales detectadas por el sensor del maestro, como los movimientos corporales, los gestos y el habla. La voz del profesor se graba con un micrófono inalámbrico y se envía a Microsoft Azure Speech-to-Text para el reconocimiento de voz. El texto transcrito y un aviso personalizado se envían a GPT-3, un modelo de lenguaje que determina el ángulo y el encuadre deseados de la cámara. Los investigadores dicen que estas señales de la cámara del maestro atraen la atención de la audiencia sin interrumpir la lección. Por ejemplo, apuntar a las herramientas le indica a Stargazer que realice una panorámica y, al mismo tiempo, le indica al espectador que observe una acción específica desde arriba, lo que da como resultado un recorte de ángulo alto para una mejor vista.

El objetivo del equipo era encontrar señales sutiles para el vocabulario de interacción para eliminar la necesidad de una comunicación separada con el robot. El objetivo es una comprensión perfecta de las tomas de cámara deseadas que se integren naturalmente en la experiencia del tutorial. Las capacidades de Stargazer se probaron en un estudio en el que seis maestros enseñaron varias habilidades para videos tutoriales dinámicos. El robot facilitó el seguimiento de sujetos, la configuración de la cámara y las combinaciones de ángulos, y permitió la producción de video para tareas como el mantenimiento de patinetas, la creación de esculturas interactivas y la configuración de un casco de realidad virtual. Los participantes practicaron y completaron tutoriales en dos rondas. Los investigadores descubrieron que todos los participantes crearon videos con éxito usando solo los controles de la cámara del robot y estaban satisfechos con la calidad del video. Para entornos más grandes y diferentes ángulos, el equipo planea explorar drones con cámara y robots con ruedas. Algunos participantes intentaron usar objetos para disparar, pero Stargazer aún no lo reconoce.

La investigación futura tiene como objetivo detectar intenciones sutiles mediante la combinación de la mirada, la postura y las señales del habla del maestro para acercarse a la meta a largo plazo del equipo. Stargazer se posiciona como una alternativa para quienes no cuentan con un equipo de filmación profesional, pero actualmente dependen de un costoso brazo robótico y sensores externos. Los investigadores creen, sin embargo, que el concepto Stargazer no está inherentemente limitado por una tecnología costosa.

Referencia: Jiannan Li et al., Stargazer: un robot de cámara interactivo para grabar videos instructivos basados ​​en sugerencias sutiles del maestro, Actas de la Conferencia CHI 2023 sobre factores humanos en sistemas informáticos (2023). DOI: 10.1145/3544548.3580896