Capy Cosmos Ahora Mirando a Prompts: Detección de Texto Generado con Características Contextuales

Los LLM generativos se están volviendo cada vez más poderosos. Se han propuesto varios detectores para distinguir entre texto generado por IA y texto escrito por humanos, con el objetivo de proteger la autenticidad e integridad del texto. Un desafío importante en la Detección de Texto Generado en cero disparos es el llamado "problema del capibara", donde la falta de contexto hace que los detectores clasifiquen erróneamente características lingüísticas inusuales pero contextualizables como escritas por humanos. Para aliviar este problema, este documento propone un método independiente del detector que proporciona contexto de prompt a través de la inversión de prompt de un LLM auxiliar. Al filtrar características lingüísticas contextuales, el enfoque permite que los detectores se concentren en pistas estilísticas indicativas de texto generado. Experimentos en un conjunto de datos diverso que incluye múltiples dominios, LLMs y manipulaciones adversariales muestran que incorporar contexto de prompt mejora el rendimiento de detección hasta en un 5 % en AUC. Evaluaciones adicionales sobre robustez ante ataques y generalización de dominio muestran que el rendimiento de AUC aumenta hasta en un 10 % para muestras manipuladas adversariamente y hasta en un 6 % en precisión de generalización de dominio, subrayando la efectividad del contexto de prompt en la mejora de la detección de texto generado.