El equipo de investigación de Adobe ha presentado una tecnologÃa de escalado de imagen que hace que los vÃdeos se vean con mayor nitidez y manteniendo la consistencia temporal, resolviendo el problema de imagen borrosa que generan las soluciones de este tipo.
VideoGigaGAN es un nuevo modelo de superrsolución de vÃdeo (VSR, por sus siglas en inglés) con el que Adobe aborda el problema del escalado de imagen, ya que, aunque este tipo de modelos mantienen la consistencia temporal, suelen generar resultados borrosos.
Para evitar este problema, la compañÃa de edición de 'software' ha recurrido a un muestrario de imágenes a gran escala, GigaGAN, para entrenar su nuevo modelo. Esta utiliza una red generativa adversial para la generación de imágenes estáticas de resolución superior, pero su aplicación a los vÃdeo produce parpadeos.
Para evitar esto, y dado que inflar GigaGAN con módulos temporales no soluciona el problema, Adobe ha empleado un módulo de propagación de caracterÃsticas guiado por flujo recurrente para fomentar la agregación de información a través de diferentes fotogramas, como detallan en el texto de la investigación, publicado en Arxiv.org.
Esto se complementó con la aplicación de bloques de suavizado para abordar el parpadeo temporal y una lanzadera de alta frecuencia para añadir detalles a los vÃdeos.
El resultado es un modelo VSR que puede producir vÃdeos de alta calidad con una resolución hasta ocho veces superior a la original, esto es, de 128 x 128 a 1.024 x 1.024. El vÃdeo, además de mostrar una imagen detallada, también mantiene la consistencia temporal.
