Investigadores de la Universidad Francisco de Vitoria (UFV) han desarrollado un modelo neuronal que reconstruye monumentos y piezas artísticas en tiempo real a partir de imágenes. La herramienta se basa en el uso de redes generativas adversarias (GAN), un modelo de aprendizaje profundo.
La reconstrucción de imágenes es un campo de estudio que ha avanzado mucho en los últimos años, gracias al aumento de la capacidad de cálculo y de procesamiento computacional. Ahora, un equipo del Centro de Innovación Experimental del Conocimiento (CEIEC) de la Universidad Francisco de Vitoria (UFV) ha creado ARQGAN, una herramienta capaz de reconstruir automáticamente imágenes en las que se presentan restos arqueológicos.
“ARQGAN permite la restauración de partes dañadas o faltantes de una fotografía para obtener una imagen completa”, explica Emilio Delgado, coautor del trabajo e investigador del CEIEC.
Hasta ahora, no existía un algoritmo pudiera combinar correctamente qué partes faltaban y al mismo tiempo identificar dónde faltaban. Sin embargo, esta investigación ha propuesto el uso de redes generativas adversarias (GAN), un modelo de aprendizaje profundo ya conocido, para la restauración de los elementos arquitectónicos faltantes que se observan en los restos arqueológicos de templos griegos. Esta composición recibe el nombre de “inpainting” o “automatic virtual impainting resoration”.
Durante este proceso, la red aprende e identifica características clave determinadas por la lógica interna del estilo arquitectónico, denotado por las ruinas, y añade los elementos arquitectónicos que faltan para obtener una imagen del edificio reconstruido.
A diferencia de otros estudios, la red neuronal no recibe información sobre qué elementos deben agregarse ni dónde. ARQGAN es, por tanto, capaz de representar la envolvente de un edificio al mismo tiempo que integra aspectos particulares del edificio relacionado con el lenguaje arquitectónico utilizado para su diseño.
Los resultados de esta investigación mostraron que la restauración de las partes fundamentales del estilo griego clásico es consistente. La imagen de respuesta final ha sido evaluada a través de métricas objetivas y mediante una encuesta cualitativa entre académicos y arquitectos.
Gracias a estos resultados, el equipo de investigación del CEIEC, formado por Álvaro García Tejedor, Emilio Delgado-Martos y Alberto Nogales, en colaboración con la Escuela de Arquitectura de la Universidad Francisco de Vitoria ha presentado la solicitud de una patente que integra dos de los descubrimientos que se han obtenido a través de esta investigación.
El primer descubrimiento se centra en el desarrollo del nuevo algoritmo mediante Deep Learning, consiguiendo que se pueda reconstruir una parte de la imagen sin determinar cuál es la zona que tiene que reconstruir.
El segundo descubrimiento presentado en la patente es conseguir una herramienta que ofrezca una respuesta completamente diferente de lo que se está haciendo tradicionalmente en el ámbito de la reconstrucción virtual en arqueología. Esta herramienta no usa modelos tridimensionales obtenidos mediante escaneados fotogramétricos integrados en modelos 3D para obtener una imagen. ARQGAN propone el entrenamiento de la red neuronal para tener automáticamente una imagen de respuesta.
“Los resultados son sorprendentes. ARQGAN abre un mundo de posibilidades gracias a la realidad virtual. Mediante el uso de unas gafas de realidad aumentada en el propio enclave, se podrá ver en tiempo real la ruina totalmente reconstruida”, señala Emilio Delgado.
Este hecho ofrecerá una prospectiva de trabajo muy interesante en los próximos años desde la perspectiva de investigación en los entornos de la arqueología y del turismo, ya que dota de la posibilidad de introducir una nueva experiencia al usuario y al consumidor en estos enclaves.
Ver la presentación del proyecto:
