Más allá de la selección discreta: Optimización continua del espacio de incrustación para selección de características generativas

El objetivo de la selección de características, que comprende enfoques de filtro, envoltura y embebido, es encontrar el subconjunto óptimo de características para tareas designadas aguas abajo. No obstante, los métodos actuales de selección de características están limitados por: 1) los criterios de selección de estos métodos varían para diferentes dominios, lo que dificulta su generalización; 2) el rendimiento de selección de estos enfoques disminuye significativamente al procesar espacios de características de alta dimensión junto con un tamaño de muestra pequeño. A la luz de estos desafíos, planteamos la pregunta: ¿pueden los subconjuntos de características seleccionadas ser más robustos, precisos y agnósticos a la dimensionalidad de entrada? En este documento, reformulamos el problema de selección de características como una tarea de optimización profunda diferenciable y proponemos una nueva perspectiva de investigación: conceptualizar el subconjunto discreto de características como optimización continua del espacio de incrustación. Introducimos un marco novedoso y fundamentado que abarca un codificador secuencial, un evaluador de precisión, un decodificador secuencial y un optimizador de ascenso de gradiente. Este marco integral incluye cuatro pasos importantes: preparación de datos de entrenamiento de características-precisión, incrustación de subconjuntos de características profundas, búsqueda optimizada por gradiente y reconstrucción de subconjuntos de características. Específicamente, utilizamos el aprendizaje de selección de características por refuerzo para generar datos de entrenamiento diversos y de alta calidad y mejorar la generalización. Al optimizar la reconstrucción y las pérdidas de precisión, incrustamos el conocimiento de selección de características en un espacio continuo utilizando una estructura de modelo codificado-evaluador-decodificador. Empleamos un algoritmo de búsqueda de ascenso de gradiente para encontrar mejores incrustaciones en el espacio de incrustación aprendido. Además, reconstruimos soluciones de selección de características utilizando estas incrustaciones y seleccionamos el subconjunto de características con el mejor rendimiento para tareas aguas abajo como el subconjunto óptimo. Finalmente, resultados experimentales extensos demuestran la efectividad de nuestro método propuesto, mostrando mejoras significativas en la robustez y precisión de la selección de características. Para mejorar la reproducibilidad de nuestra investigación, hemos publicado código y conjuntos de datos complementarios a través de Dropbox. 1 .