Modelos de Lenguaje Basados en Transformadores y Cifrado Homomórfico: Una Intersección con BERT-tiny

En los últimos años, los modelos emergentes y mejorados de Procesamiento de Lenguaje Natural (NLP), como las Representaciones de Codificadores Bidireccionales de Transformadores (BERT), han ganado una atención significativa debido a su rendimiento en varias tareas de lenguaje natural. Sin embargo, comúnmente se da un enfoque inapropiado a los problemas críticos de seguridad y privacidad de datos, ya que estos modelos requieren acceso a datos en texto plano. Para abordar estos problemas, sugerimos una solución basada en Cifrado Homomórfico Total (FHE), que permite realizar cálculos sobre datos cifrados. En particular, proponemos un circuito basado en FHE que, al implementar el modelo BERT más pequeño existente, a saber, BERT tiny, permite la extracción de representaciones de oraciones cifradas y clasificaciones de texto cifrado. Considerando la naturaleza y la profundidad de este circuito, utilizamos el esquema Cheon-Kim-Kim-Song (CKKS), junto con la operación de arranque. También proponemos usar precomputaciones para la Normalización de Capa, con el fin de aligerar los cálculos. Los experimentos, que pueden ser replicados usando nuestro código de código abierto, se llevan a cabo en el conjunto de datos Stanford Sentiment Treebank (SST-2). Demuestran que los errores introducidos por la Normalización de Capa precomputada, las operaciones FHE aproximadas y las aproximaciones polinómicas no producen una pérdida de rendimiento significativa.