Reconocimiento facial en la era de CLIP y conjuntos de datos de mil millones de imágenes

Los modelos CLIP (Pre-entrenamiento Contraste de Lenguaje-Imágenes) desarrollados por OpenAI han logrado resultados excepcionales en varias tareas de reconocimiento y recuperación de imágenes, mostrando un fuerte rendimiento en cero disparos. Esto significa que son capaces de desempeñarse eficazmente en tareas para las que no han sido entrenados explícitamente. Inspirado por el éxito del CLIP de OpenAI, se recopiló un nuevo conjunto de datos disponible públicamente llamado LAION-5B, lo que resultó en el desarrollo de modelos ViT-H/14 y ViT-G/14 abiertos que superan al modelo L/14 de OpenAI. El conjunto de datos LAION-5B también lanzó un índice aproximado de vecinos más cercanos, con una interfaz web para la búsqueda y creación de subconjuntos. En este artículo, evaluamos el rendimiento de varios modelos CLIP como reconocedores faciales en cero disparos. Nuestros hallazgos muestran que los modelos CLIP se desempeñan bien en tareas de reconocimiento facial, pero aumentar el tamaño del modelo CLIP no necesariamente conduce a una mayor precisión. Además, investigamos la robustez de los modelos CLIP contra ataques de envenenamiento de datos al probar su rendimiento en datos envenenados. A través de este análisis, buscamos entender las posibles consecuencias y el uso indebido de los motores de búsqueda construidos utilizando modelos CLIP, que podrían funcionar potencialmente como motores de reconocimiento facial no intencionados.