Curadoria de Conhecimento Agente vs. Recuperação em Contexto Completo: Um Estudo Empírico da Topologia de Falha de Recuperação em Sistemas LLM de Longo Contexto

A proposta de Karpathy de substituir a Geração Aumentada por Recuperação (RAG) por bases de conhecimento em texto plano mantidas diretamente por agentes de linguagem (Curadoria de Conhecimento Agente) ganhou espaço em aplicações industriais, mas carece de avaliação empírica sistemática. Até onde sabemos, este estudo apresenta a primeira avaliação comparativa desse paradigma utilizando avaliação humana cega por dois revisores externos independentes. O corpus compreende a documentação técnica de um sistema de busca semântica em produção para documentos legais em espanhol (11 arquivos, ~19.300 tokens) juntamente com 100 perguntas verificadas em relação ao código-fonte, distribuídas entre recuperação direta, síntese de múltiplos documentos e raciocínio sobre ausência. Claude 3.5 Sonnet foi utilizado como modelo de referência para isolar o efeito da arquitetura de recuperação. Embora a precisão geral fosse estatisticamente indistinguível entre os paradigmas, a curadoria agente mostrou uma vantagem significativa na recuperação direta de documentos longos. Por outro lado, a análise de erro revelou falsos negativos da RAG associados ao fenômeno perdido-no-meio, enquanto a curadoria agente exibiu degradação localizada na fidelidade textual para consultas que exigiam reprodução exata de fórmulas ou sequências. Esses resultados caracterizam os perfis de erro diferenciais de ambos os paradigmas, fornecendo critérios de design acionáveis para engenheiros que gerenciam documentação técnica com modelos de linguagem em ambientes de nuvem.