Aprovechar reflejos para crear imágenes de objetos ocultos

Investigadores del MIT y la Universidad de Rice han creado una técnica de visión artificial que aprovecha los reflejos para crear imágenes que de otro modo estarían ocultas a la vista.

Su método utiliza reflejos para convertir objetos brillantes en "cámaras", lo que permite al usuario ver el mundo como si estuviera mirando a través de las "lentes" de objetos cotidianos como una taza de café de cerámica o un pisapapeles metálico.

Usando imágenes de un objeto tomadas desde diferentes ángulos, la técnica convierte la superficie de ese objeto en un sensor virtual que captura los reflejos. El sistema de inteligencia artificial mapea estos reflejos de una manera que le permite estimar la profundidad en la escena y capturar vistas novedosas que solo serían visibles desde la perspectiva del objeto. Se podría usar esta técnica para ver alrededor de las esquinas o más allá de los objetos que bloquean la vista del observador.

Este método podría ser especialmente útil en vehículos autónomos. Por ejemplo, podría permitir que un automóvil autónomo use los reflejos de los objetos que pasa, como postes de luz o edificios, para ver alrededor de un camión estacionado.

"Hemos demostrado que cualquier superficie se puede convertir en un sensor con esta formulación que convierte los objetos en píxeles virtuales y sensores virtuales. Esto se puede aplicar en muchas áreas diferentes", dice en un comunicado Kushagra Tiwary, estudiante de posgrado en Camera Culture Group en Media Lab y coautor principal de un artículo sobre esta investigación.

Obtener información útil de estas fuentes es bastante difícil porque los reflejos nos dan una visión distorsionada del mundo. Esta distorsión depende de la forma del objeto y del mundo que refleja el objeto, sobre los cuales los investigadores pueden tener información incompleta. Además, el objeto brillante puede tener su propio color y textura que se mezcla con los reflejos. Además, los reflejos son proyecciones bidimensionales de un mundo tridimensional, lo que dificulta juzgar la profundidad en las escenas reflejadas.

Los investigadores encontraron una manera de superar estos desafíos. Su técnica, conocida como ORCa (que significa Objects as Radiance-Field Cameras), funciona en tres pasos. Primero, toman fotografías de un objeto desde muchos puntos de vista, capturando múltiples reflejos en el objeto brillante.

Luego, para cada imagen de la cámara real, ORCa usa el aprendizaje automático para convertir la superficie del objeto en un sensor virtual que captura la luz y los reflejos que golpean cada píxel virtual en la superficie del objeto. Finalmente, el sistema utiliza píxeles virtuales en la superficie del objeto para modelar el entorno 3D desde el punto de vista del objeto.

La obtención de imágenes del objeto desde muchos ángulos permite a ORCa capturar reflejos de vista múltiple, que el sistema utiliza para estimar la profundidad entre el objeto brillante y otros objetos en la escena, además de estimar la forma del objeto brillante. ORCa modela la escena como un campo de radiación 5D, que captura información adicional sobre la intensidad y la dirección de los rayos de luz que emanan y golpean cada punto de la escena.

La información adicional contenida en este campo de radiación 5D también ayuda a ORCa a estimar con precisión la profundidad. Y debido a que la escena se representa como un campo de radiación 5D, en lugar de una imagen 2D, el usuario puede ver características ocultas que de otro modo estarían bloqueadas por esquinas u obstrucciones.

De hecho, una vez que ORCa ha capturado este campo de radiación 5D, el usuario puede colocar una cámara virtual en cualquier lugar de la escena y sintetizar lo que esa cámara vería, explica Dave. El usuario también podría insertar objetos virtuales en el entorno o cambiar la apariencia de un objeto, como de cerámica a metálico.