Engenharia de Prompt com Preservação de Privacidade: Uma Pesquisa

Modelos de linguagem pré-treinados (PLMs) demonstraram proficiência significativa na resolução de uma ampla gama de tarefas gerais de processamento de linguagem natural (NLP). Os pesquisadores observaram uma correlação direta entre o desempenho desses modelos e seus tamanhos. Como resultado, os tamanhos desses modelos se expandiram notavelmente nos últimos anos, persuadindo os pesquisadores a adotar o termo modelos de linguagem grandes (LLMs) para caracterizar os PLMs de maior tamanho. A expansão de tamanho vem com uma capacidade distinta chamada aprendizado em contexto (ICL), que representa uma forma especial de prompting e permite que os modelos sejam utilizados por meio da apresentação de exemplos de demonstração sem modificações nos parâmetros do modelo. Embora interessante, preocupações relacionadas à privacidade tornaram-se um grande obstáculo em seu uso generalizado. Vários estudos examinaram os riscos de privacidade associados ao ICL e ao prompting em geral, e desenvolveram técnicas para aliviar esses riscos. Assim, há uma necessidade de organizar essas técnicas de mitigação para o benefício da comunidade. Nesta pesquisa, fornecemos uma visão geral sistemática dos métodos de proteção da privacidade empregados durante o ICL e o prompting em geral. Revertemos, analisamos e comparamos diferentes métodos sob este paradigma. Além disso, fornecemos um resumo dos recursos acessíveis para o desenvolvimento desses frameworks. Por fim, discutimos as limitações desses frameworks e oferecemos um exame detalhado das áreas promissoras que necessitam de exploração adicional.