¿Pueden los objetos ordinarios actuar como cámaras?

Un novedoso sistema de visión por computadora convierte objetos brillantes en cámaras que funcionan, lo que permite a los observadores ver su entorno por encima de los obstáculos o en las esquinas.

Al conducir por calles estrechas de la ciudad, los reflejos de la pintura brillante o los espejos laterales de los vehículos estacionados pueden ayudar al conductor a ver objetos previamente ocultos, como un niño jugando en la acera detrás de los autos estacionados.

Investigadores del MIT y la Universidad de Rice han desarrollado ORCa, un sistema impulsado por IA que convierte objetos brillantes en cámaras funcionales mediante la captura e imagen de los reflejos. Esta técnica mejora la visibilidad de los vehículos autónomos mediante el uso de reflejos para observar obstáculos y ofrece aplicaciones potenciales para imágenes de drones. Esta técnica utiliza imágenes de objetos desde diferentes ángulos para transformar la superficie del objeto en un sensor virtual que detecta reflejos. El sistema de inteligencia artificial mapea estos reflejos para estimar la profundidad y capturar perspectivas únicas que están ocultas a la vista del espectador, como ver alrededor de las esquinas o sobre obstáculos.

pensando en reflejos

Los investigadores superan los desafíos de usar reflejos con ORCa, una técnica que funciona en tres pasos. Fotografías el objeto desde múltiples ángulos, capturando diferentes reflejos. Utilizando el aprendizaje automático, ORCa convierte la superficie del objeto en un sensor virtual que captura la luz y los reflejos de cada píxel virtual. Luego, el sistema modela el entorno 3D desde la perspectiva del objeto utilizando píxeles virtuales en su superficie.

atrapar rayos

ORCa utiliza reflejos de vista múltiple para estimar la profundidad y la forma del objeto brillante. Modela la escena como un campo de radiación 5D y captura la información de intensidad, dirección y rayos de luz. Este campo de radiación 5D ayuda en la estimación precisa de la profundidad y revela características ocultas bloqueadas por esquinas u obstáculos. Una vez que ORCa captura el campo de radiación 5D, los usuarios pueden colocar una cámara virtual en cualquier lugar de la escena y visualizar su perspectiva. También puede agregar objetos virtuales o cambiar la apariencia de los objetos existentes, p. B. cambiar de cerámica a metal.

Estimaciones precisas

Los investigadores compararon su técnica con otros métodos de modelado de reflexión que diferían ligeramente de la tarea de ORCa. Su método distinguió los colores reales de los objetos de los reflejos y superó las líneas de base en la extracción precisa de la geometría y las texturas de los objetos. También evaluaron las estimaciones de profundidad de ORCa utilizando datos reales simulados sobre el terreno, lo que confirmó su confiabilidad en la predicción de distancias de objetos en la escena. Sobre la base de esta prueba de concepto, los investigadores quieren utilizar esta técnica en imágenes de drones. ORCa usa reflejos débiles para reconstruir escenas y planes para incluir sombras y combinar reflejos para mapear partes ocultas o adicionales de una escena.

Referencia: "ORCa: Glossy Objects as Radiance Field Cameras" por Kushagra Tiwary, Akshat Dave, Nikhil Behari, Tzofi Klinghoffer, Ashok Veeraraghavan y Ramesh Raskar, 12 de diciembre de 2022 Informática > Visión artificial y reconocimiento de patrones.
arXiv:2212.04531