Autoencoders em Processamento de Linguagem Natural: Uma Revisão Abrangente

Modelos baseados em autoencoders tornaram-se um componente fundamental do aprendizado não supervisionado e auto-supervisionado em processamento de linguagem natural (PLN), permitindo que os modelos aprendam representações latentes compactas por meio da reconstrução de entradas. Desde os primeiros autoencoders de remoção de ruído até autoencoders variacionais probabilísticos (VAEs) e autoencoding mascarado baseado em transformadores, objetivos impulsionados pela reconstrução desempenharam um papel significativo na formação de abordagens modernas para representação e geração de texto. Esta revisão fornece uma análise abrangente da evolução das arquiteturas de autoencoders e dos objetivos de treinamento em PLN, e sintetiza aplicações de VAEs em modelagem de linguagem, geração de texto controlável, tradução automática, modelagem de sentimento e aprendizado de representação multilíngue. Embora pesquisas anteriores tenham examinado modelos generativos profundos ou aprendizado de representação em PLN, ainda existe uma falta de uma revisão unificada que conecte sistematicamente variantes clássicas de autoencoders, formulações variacionais e autoencoders mascarados baseados em transformadores dentro de uma única estrutura conceitual. Para abordar essa lacuna, este trabalho consolida desenvolvimentos arquiteturais, objetivos de treinamento e principais domínios de aplicação sob uma perspectiva de aprendizado baseado em reconstrução, oferecendo uma comparação estruturada de escolhas de modelagem, conjuntos de dados e práticas de avaliação. Nossa análise destaca as forças e limitações das abordagens existentes, discute a influência contínua do aprendizado estilo autoencoder em PLN e delineia futuras direções de pesquisa focadas na melhoria da estabilidade do treinamento, no desenvolvimento de espaços latentes mais estruturados e no aprimoramento do aprendizado de representação multilíngue.