Contributions to the security of machine learning

Laburpena

Las aplicaciones del aprendizaje automático (machine learning, ML) han experimentado un crecimiento sin precedentes. Sin embargo, la adopción cada vez mayor de metodologías de ML ha revelado importantes problemas de seguridad. Entre estos destacan las vulnerabilidades a ejemplos adversarios, es decir; instancias de datos destinadas a engañar a los algoritmos de ML. Los ejemplos abundan: es relativamente fácil engañar a un detector de spam simplemente escribiendo mal algunas palabras características de los correos basura. La ofuscación de código malware puede hacer que parezca legítimo. Agregando unos parches a una señal de stop se podría provocar que un vehículo autónomo la reconociese como una señal de dirección obligatoria. Las consecuencias de estas vulnerabilidades pueden llegar a ser catastróficas. Y es que el ML está diseñado para trabajar en entornos estacionarios y benignos. Sin embargo, la presencia de adversarios que manipulan los datos de entrada para engañar a los sistemas de ML, rompen tales requisitos de estacionariedad. Las condiciones de entrenamiento y operación de los algoritmos ya no son idénticas, quebrándose una de las hipótesis fundamentales del ML. Esto crea una clase completamente nueva de vulnerabilidades que los sistemas basados en el aprendizaje automático deben enfrentar y una nueva propiedad deseable: la robustez adversaria. Si debemos confiar en las operaciones basadas en resultados del ML, es esencial que estos sistemas sean robustos a tales manipulaciones adversarias. Esta tesis explora cómo garantizar la seguridad del aprendizaje automático contra amenazas adversarias intencionales. En la literatura reciente, se han propuesto dos clases de métodos de defensa ante ataques adversarios: los reactivos, que pretenden mitigar los efectos de un posible ataque, y los proactivos, cuyo objetivo es evitar la ejecución del ataque. El primer objetivo de esta tesis, es el de desarrollar una nueva defensa reactiva aplicable a problemas de seguridad que utilicen el análisis de series temporales. En concreto, hemos trabajado en la detección avanzada de amenazas en el dominio de la monitorización de grandes redes de dispositivos, para así mitigar el efecto de posibles ataques. El segundo objetivo es el de proporcionar una nueva defensa proactiva en problemas de clasificación estadística. Entre las defensas propuestas en la literatura, las consistentes en la seguridad por diseño constituyen una subclase importante. Estas requieren la modelización explícita de las acciones del adversario en el diseño del sistema de aprendizaje. La mayoría de los enfoques hasta la fecha, modelizan esta confrontación entre adversario y sistema de ML utilizando la teoría de juegos, con la consiguiente hipótesis de conocimiento común, poco realista en la mayoría de aplicaciones. En esta tesis, proporcionamos un marco probabilístico bayesiano basado en el análisis de riesgos adversarios (ARA) para estudiar tal confrontación. Nuestro enfoque mitiga los efectos de la hipótesis de conocimiento común al modelizar explícitamente, no solo la presencia de adversarios, sino también nuestra incertidumbre acerca de sus elementos. Encontrar equilibrios de los juegos típicamente utilizados en el campo de la seguridad del ML es muy costoso desde una perspectiva computacional, ya que necesitamos enfrentarnos a un nuevo paradigma: mientras que en la teoría de juegos clásica, los jugadores eran humanos cuyas decisiones son generalmente discretas y de dimensión baja, en ML, las decisiones las toman algoritmos y suelen ser contínuas y de alta dimensión, e.g. elegir los pesos de una red neuronal. En consecuencia, se requieren algoritmos numéricos escalables para resolver este tipo de juegos. En esta tesis, se proporcionan soluciones basadas en el gradiente y en simulación, respectivamente, y se estudia su escalabilidad, cumpliendo así con el tercer objetivo de esta tesis.