LFFR: Función Logística Para Regresión (de salida única)

La regresión que preserva la privacidad en el aprendizaje automático es un área crucial de investigación, destinada a permitir el uso de poderosas técnicas de aprendizaje automático mientras se protege la privacidad de los individuos. En este artículo, implementamos un entrenamiento de regresión que preserva la privacidad utilizando datos cifrados bajo un esquema de cifrado completamente homomórfico. Primero examinamos el algoritmo común de regresión lineal y proponemos un Hessiano fijo (simplificado) para el entrenamiento de regresión lineal, el cual puede aplicarse a cualquier conjunto de datos, incluso si no están normalizados en el rango 0, 1. También generalizamos esta matriz Hessiana constante a la versión de regresión ridge, es decir, regresión lineal que incluye un término de regularización para penalizar coeficientes grandes. Sin embargo, nuestra principal contribución es desarrollar un nuevo y eficiente algoritmo llamado LFFR para regresión homomórfica utilizando la función logística, que podría modelar relaciones más complejas entre los valores de entrada y la predicción de salida en comparación con la regresión lineal. También encontramos un Hessiano simplificado constante para entrenar nuestro algoritmo LFFR utilizando el método similar a Newton y lo comparamos con nuestro nuevo entrenamiento de regresión lineal con Hessiano fijo en dos conjuntos de datos del mundo real. Sugerimos normalizar no solo los datos, sino también las predicciones objetivo, incluso para la regresión lineal original utilizada de manera que preserve la privacidad, lo cual es útil para mantener los pesos en un rango pequeño, digamos -5, +5, bueno para actualizar parámetros de configuración de cifrado, y evitar ajustar el parámetro de regularización a través de validación cruzada. La regresión lineal con predicciones normalizadas podría ser una alternativa viable a la regresión ridge.