| Tesis Doctorales de la Universidad de Alcalá |
| DESARROLLO DE ALGORITMOS DE REGISTRO DEFORMABLE PARA APLICACIONES DE REALIDAD AUMENTADA | | Autor/a | Luengo Sánchez, Sara | | Departamento | Electrónica | | Director/a | Pizarro Pérez, Daniel | | Codirector/a | Losada Gutiérrez, Cristina | | Fecha de depósito | 22-07-2025 | | Periodo de exposición pública | 23 de julio a 4 de septiembre de 2025 | | Fecha de defensa | Sin especificar | | Modalidad | Presencial | | Programa | Electrónica: Sistemas Electrónicos Avanzados. Sistemas Inteligentes (RD 99/2011) | | Mención internacional | Solicitada | | Resumen | El registro y la reconstrucción de objetos 3D son campos fundamentales de la visión por computador necesarios para conectar el mundo real con el digital en aplicaciones como la realidad aumentada, la conducción autónoma o la medicina. El registro consiste en alinear los datos recogidos por un sensor con su homólogo digital, mientras que la reconstrucción 3D estima la forma de objetos del mundo real para generar un modelo digital 3D.
Esta tesis se centra en resolver Shape-from-Template (SfT) usando algoritmos de aprendizaje profundo para la estimación del registro y reconstrucción de un objeto deformado en tiempo real, a partir de una imagen de entrada y un modelo 3D de referencia del objeto llamado plantilla. SfT es un problema complicado debido a ambigüedades entre 2D y 3D, oclusiones, distorsiones de imagen y cambios de iluminación. Además, las soluciones de SfT basadas en aprendizaje profundo se ven lastradas por la falta de etiquetado en datos reales. Hasta la fecha, estos métodos se han centrado en generar grandes cantidades de datos sintéticos etiquetados para entrenar las redes neuronales. Sin embargo, los datos sintéticos no representan de forma fehaciente la complejidad del mundo real, un fenómeno conocido como render gap, lo que degrada el desempeño de estos modelos en datos reales.
Esta tesis propone dos soluciones para superar el desafío del render gap en SfT: Weakly-Supervised Deep Shape-from-Template (WS-DeepSfT) y Domain Adversarial Neural Networks (DANN) for Deep Shape-from-Template (D(ANN)SfT).
WS-DeepSfT es un novedoso método para resolver SfT basado en aprendizaje profundo que consigue eliminar por completo el problema del render gap entrenando directamente en imágenes reales. WS-DeepSfT utiliza una red neuronal convolucional para estimar los mapas de registro, un algoritmo de segmentación semántica para separar el objeto del fondo, y el algoritmo As-Rigid-As-Possible (ARAP) para reconstruir el objeto. WS-DeepSfT solo tiene como entradas una imagen RGB y la plantilla del objeto. Esta solución funciona en tiempo real y reduce el tiempo y el coste de despliegue ya que no requiere sensores de profundidad como enfoques anteriores. WS-DeepSfT utiliza métodos de estimación de pose y flujo óptico para entrenar la red de manera débilmente supervisada, aprovechando el conocimiento disponible sobre la plantilla y la información temporal en los datos de entrenamiento, lo que impone restricciones en dichos datos. WS-DeepSfT consigue mayor robustez que otros métodos gracias a la representación densa del objeto y la externalización de la segmentación.
D(ANN)SfT es el primer método que aplica algoritmos de adaptación de dominio al problema de SfT para reducir el render gap entre los datos sintéticos y reales. D(ANN)SfT combina una solución integral de SfT con un entorno DANN para aprovechar los datos sintéticos y reales disponibles de una misma plantilla. Este enfoque promueve que la red neuronal extraiga características discriminativas para estimar mapas de registro y segmentación precisos utilizando el etiquetado sintético, mientras que utiliza los datos reales no etiquetados para aprender a generar características invariantes al dominio. A continuación, ARAP utiliza las estimaciones de la red para reconstruir el objeto sin necesidad de entrenamiento adicional. D(ANN)SfT no requiere sensores especiales, mejora la generalización y robustez en escenarios reales, y reduce de manera efectiva la dependencia en la cantidad y complejidad de los datos sintéticos.
Las soluciones propuestas se han evaluado en conjuntos de datos reales y sintéticos de plantillas delgadas, comparándolos con otros métodos del estado del arte y demostrando su superioridad para diferentes materiales y deformaciones. |
|
