Aprendizado de Máquina com Preservação de Privacidade Usando Criptografia Homomórfica Total para Redes Neurais Profundas

A criptografia homomórfica total (FHE) é uma ferramenta promissora para aprendizado de máquina com preservação de privacidade (PPML). Vários modelos de PPML foram propostos com base em vários esquemas e abordagens de FHE. Embora os esquemas de FHE sejam adequados como ferramentas para implementar modelos de PPML, modelos anteriores de PPML baseados em FHE, como CryptoNet, SEALion e CryptoDL, estão limitados a tipos simples e não padronizados de modelos de aprendizado de máquina; eles não provaram ser eficientes e precisos com conjuntos de dados mais práticos e avançados. Esquemas anteriores de PPML substituíram funções de ativação não-aritméticas por funções aritméticas simples em vez de adotar métodos de aproximação e não usaram bootstrapping, que permite avaliações homomórficas contínuas. Assim, não puderam usar funções de ativação padrão nem empregar grandes números de camadas. Neste trabalho, primeiro implementamos o modelo padrão ResNet-20 com o RNS-CKKS FHE com bootstrapping e verificamos o modelo implementado com o conjunto de dados CIFAR-10 e parâmetros de modelo em texto claro. Em vez de substituir as funções não-aritméticas por funções aritméticas simples, usamos métodos de aproximação de ponta para avaliar essas funções não-aritméticas, como ReLU e Softmax, com precisão suficiente. Além disso, pela primeira vez, usamos a técnica de bootstrapping do esquema RNS-CKKS no modelo proposto, que nos permite avaliar um modelo de aprendizado profundo arbitrário em dados criptografados. Verificamos numericamente que o modelo proposto com o conjunto de dados CIFAR-10 apresenta 98,43% de resultados idênticos ao modelo original ResNet-20 com dados não criptografados. A precisão de classificação do modelo proposto é de 92,43% ± 2,65%, o que é bastante próximo do modelo original ResNet-20 CNN (91,89%). Leva aproximadamente 3 horas para inferência em um CPU dual Intel Xeon Platinum 8280 (112 núcleos) com 172 GB de memória. Acreditamos que isso abre a possibilidade de aplicar FHE a um modelo avançado de PPML profundo.