ESCUELA DE DOCTORADO

 
Tesis Doctorales de la Universidad de Alcalá
ONLINE ANALYSIS OF STREAMING VIDEOS FOR HUMAN ACTION UNDERSTANDING
Autor/aBaptista Rios, Marcos
DepartamentoTeoría de la Señal y Comunicaciones
Director/aLópez Sastre, Roberto Javier
Fecha de defensa15/10/2020
CalificaciónSobresaliente Cum Laude
ProgramaTecnologías de la Información y las Comunicaciones (RD 99/2011)
Mención internacionalSi
ResumenEsta tesis forma parte del proyecto de investigación PREPEATE, llevado a cabo en el grupo de investigación GRAM de la Universidad de Alcalá. En él se pretende desarrollar una plataforma de robótica asistencial basada en técnicas avanzadas de inteligencia artificial. El robot estudiará el comportamiento humano mediante el análisis de vídeo. Para ello, la tesis aborda los problemas de Propuestas Temporales de Acciones (PTA) y Detección de Acciones Online (DAO) en vídeos. En cuanto al primer problema, las soluciones más recientes lo abordan con un proceso ¿offline¿ y supervisado, que implica tener el vídeo con anterioridad y datos completamente anotados. En el escenario definido por el robot, el vídeo se procesa según se recoge y las anotaciones no siempre están disponibles. Por ello, se presenta una solución ¿online¿ y no supervisada. Ésta genera propuestas de acción mediante un ¿clustering¿ basado en Máquinas de Vectores Soporte, y utiliza ¿Rank Pooling¿ sobre las dinámicas de las características para eliminar propuestas que no pertenezcan a un segmento de acción. El modelo se evalúa en las bases de datos Activitynet and THUMOS14, alcanzando el 41% y el 26%, respectivamente, del rendimiento de los mejores modelos supervisados.En cuanto a DAO, a diferencia de los enfoques offline de detección de acciones, donde las métricas están bien establecidas, el problema de DAO presenta pocos trabajos y apenas consenso sobre los protocolos de evaluación. Esta tesis propone repensar el escenario de DAO, definiéndolo claramente y detallando las principales características que deben cumplir los modelos ¿online¿. Se introduce también una nueva métrica llamada Instantaneous Accuracy (IA), la cual es ¿online¿ y resuelve las limitaciones de las métricas anteriores. La tesis realiza una evaluación exhaustiva en 3 conjuntos de datos y se compara el rendimiento de varios métodos de referencia con el de los del estado del arte. Los resultados confirman los problemas de los protocolos de evaluación anteriores y sugieren que un protocolo basado en la IA es más adecuado.