Este estudio explora la integración de las capacidades de aprendizaje automático automatizado (AutoML) con marcos de IA explicativa dentro de ecosistemas Databricks para despliegue a escala empresarial. La investigación presenta una metodología integral para la selección automática de modelos, optimización de hiperparámetros y análisis de interpretabilidad que aborda los requisitos de cumplimiento regulatorio mientras mantiene un rendimiento de nivel de producción. Las contribuciones novedosas incluyen la selección adaptativa de algoritmos basada en características de los datos, mecanismos automatizados de detección de sesgos y paneles de explicabilidad en tiempo real para modelos de producción. El marco propuesto demuestra una reducción del 65% en el tiempo de desarrollo de modelos, asegurando el cumplimiento regulatorio a través de métricas de equidad integradas y estándares de interpretabilidad. La evaluación del rendimiento en múltiples conjuntos de datos de la industria muestra mejoras consistentes en la precisión del 12-18% en comparación con enfoques tradicionales de aprendizaje automático manual, con la detección automatizada de sesgos alcanzando una precisión del 94% en la identificación de posibles violaciones de equidad antes del despliegue del modelo.
Praveen Kumar Reddy Gujjala (Vie,) estudió esta cuestión.