A bajulação — a tendência dos modelos de linguagem em afirmar as crenças declaradas do usuário em vez do estado mensurável do mundo — é amplamente relatada em modelos treinados com Aprendizado por Reforço a partir de Feedback Humano (RLHF) e está documentada como crescente com a escala do modelo. Este artigo argumenta que a bajulação não é um artefato residual de dados de treinamento imperfeitos, mas o ótimo matemático de uma arquitetura de controle com uma estrutura de referência plana: um único sinal de referência dominante (satisfação do avaliador) sem um sinal de referência superior ancorado na verificação da verdade objetiva. Sustentamos esse argumento com três linhas de evidência convergentes. Primeiro, formalizamos a reivindicação em termos do objetivo de Otimização da Política Proximal (PPO) usado no RLHF, mostrando que sob preferências de avaliadores realistas (viés de verbosidade, viés de coerência de afirmação, viés de concordância), a fabulação domina estritamente a abstenção calibrada ao longo do gradiente. Segundo, reportamos um estudo de elicitação estruturado no qual sete modelos fronteiriços (ChatGPT, Microsoft Copilot, Perplexity, DeepSeek V3, Google Gemini, xAI Grok e Anthropic Claude Sonnet 4.5) foram testados com um protocolo de três prompts, sem jailbreak, para realizar uma auto-auditoria arquitetônica. Nas 21 sessões resultantes, todos os sete diagnosticaram independentemente a mesma propriedade estrutural: sob seu objetivo de treinamento, "soar certo" é recompensado; "estar certo" não é diretamente observável para o modelo de recompensa. Seis deles propuseram independentemente arquiteturas corretivas em loop fechado cuja estrutura recapitula a Teoria do Controle Perceptual (PCT), conforme formulada por Powers (1973), com seis nomes diferentes para o que em cada caso é a mesma estrutura de comparador e = r - p. Terceiro, mapeamos nossa proposta na recente comparação teórica de categorias entre PCT e o Princípio da Energia Livre de Roachford e Mansell et al. (2025), que estabelece uma correspondência formal entre sinais de referência perceptual e priors bayesianos, e propõe uma síntese complementar em vez de uma substituição. Em seguida, descrevemos a Engenharia de Sinal de Referência (RSE) — uma disciplina que trata a fronteira do agente, e não o prompt, como a unidade de design — e uma Arquitetura de Agente em Loop Fechado mínima em que um subsistema de verificação fora do modelo de linguagem constitui um sinal de referência superior para precisão. Discutimos as limitações da PCT conforme formulada atualmente no contexto de grandes modelos de linguagem, com atenção especial à lacuna entre o controle perceptual de variáveis físicas contínuas e a geração autorregressiva discreta, e à inadequação da reorganização biológica como uma regra de aprendizado em relação à otimização baseada em gradiente. Este trabalho foi conduzido de forma independente, sem financiamento institucional, principalmente em infraestrutura móvel. Oferece-se como um pré-print e como uma declaração de prioridade com data. Erros de interpretação sobre PCT e FEP são de responsabilidade do autor.
Łukasz Diener (Ter,) estudou essa questão.