| Tesis Doctorales de la Universidad de Alcalá |
| ENHANCEMENT OF ROBUST AND EFFICIENT AUDIO-BASED SURVEILLANCE AND MONITORING SYSTEMS THROUGH MACHINE AND DEEP LEARNING TECHNIQUES | | Autor/a | Zhu Zhou, Fang Fang | | Departamento | Teoría de la Señal y Comunicaciones | | Director/a | Gil Pita, Roberto | | Fecha de defensa | 25-09-2026 | | Calificación | Sobresaliente cum laude | | Programa | Tecnologías de la Información y las Comunicaciones (RD 99/2011) | | Mención internacional | Sí | | Resumen | Los sistemas de vigilancia y monitorización basados en audio se despliegan cada vez más en entornos no controlados y con recursos limitados, donde confluyen dos exigencias: los detectores deben mantenerse robustos frente al desajuste acústico ---el ruido y la reverberación que separan las condiciones de entrenamiento de las de despliegue--- y, al mismo tiempo, respetar presupuestos computacionales y energéticos estrictos. Habitualmente estas exigencias se abordan por separado y mediante heurísticas específicas de cada tarea. Esta tesis sostiene que la robustez y la viabilidad de despliegue deben tratarse de forma conjunta, como dos ejes de diseño explícitos y controlables, y que un único marco metodológico puede servir a tareas de monitorización acústica muy distintas. El marco se desarrolla y valida en tres dominios de aplicación de complejidad creciente: el análisis afectivo del habla (reconocimiento multiclase de emociones y detección binaria de ira), la detección de violencia en grabaciones reales orientada a la seguridad y la detección industrial de cavitación hidráulica.
Desde el punto de vista metodológico, el trabajo articula un conjunto de mecanismos complementarios que actúan a nivel de datos, de arquitectura y de sistema, todos ellos evaluados bajo criterios estrictos de independencia y una disciplina coherente de punto de operación. A nivel de datos, la ampliación virtual (\textit{virtual enlargement}) expande de forma sistemática el soporte de la distribución de entrenamiento mediante rejillas controlables de relación señal-ruido, tipología de ruido y reverberación, con una densidad por defecto transferible. A nivel de arquitectura, el diseño consciente del coste abarca desde familias de características diseñadas a mano y clasificadores clásicos hasta \textit{backbones} preentrenados compactos, empleando la poda de YAMNet como control explícito del compromiso precisión--complejidad y la segmentación temporal como mecanismo de robustez ante grabaciones de duración variable. A nivel de sistema, la inferencia en cascada convierte el cómputo profundo en un coste medio ajustable, y unas capas de \textit{beamforming} entrenables explotan la información espacial multimicrófono. El coste computacional se cuantifica de forma consistente en MFLOPS y, cuando procede, se traduce en requisitos de energía y autonomía.
La evidencia experimental respalda un conjunto coherente de conclusiones. El desajuste acústico es un modo de fallo dominante que debe combatirse ampliando el soporte de entrenamiento, en lugar de confiarlo a la capacidad del modelo, y la ampliación virtual ofrece una respuesta controlable, comparable y eficaz. Tratar el coste computacional como una dimensión de diseño de primer orden muestra que las soluciones diseñadas a mano siguen siendo competitivas con pocos datos y que las profundidades intermedias del \textit{backbone} suelen bastar, resultando óptimas en cavitación. De manera crucial, los mecanismos propuestos se separan según su transferibilidad: la ampliación a nivel de datos y el control de profundidad generalizan entre dominios, mientras que la segmentación temporal, la inferencia en cascada y el procesado espacial entrenable se seleccionan según la estructura de la tarea y del despliegue. La tesis aporta así un conjunto de herramientas de diseño por capas, consciente del despliegue, para una monitorización basada en audio robusta y viable. |
|
