What does this research mean for the field?

Orthogonal probing detects 4 to 5 times more failures than same-axis self-auditing in large-scale systems, demonstrating a structural limitation that prevents LLMs from effectively auditing their own compression manifolds from within. Novelty: ClaimNovelty.NOVEL_FINDING. Consensus alignment: ConsensusAlignment.NEUTRAL.

What question did this study set out to answer?

Esta pesquisa explora as limitações da auto-auditoria em modelos de linguagem de grande porte (LLMs) utilizando compressão analógica.

March 31, 2026Open Access

Os Logos Tornados Código: Compressão Analógica e os Limites da Auto-Auditoria

Key Points

Esta pesquisa explora as limitações da auto-auditoria em modelos de linguagem de grande porte (LLMs) utilizando compressão analógica.
Utilizou sondagem ortogonal para identificar falhas em um sistema de produção.
Comparou as taxas de descoberta de falhas entre sondagem ortogonal e auto-auditoria no mesmo eixo.
Analisou 58 classes de falha documentadas utilizando homologia persistente para encontrar estruturas topológicas.
Implementou uma referência de produção com 85 validadores determinísticos e 524 testes de ponta a ponta.
A sondagem ortogonal descobriu aproximadamente 80% das falhas, enquanto a auto-auditoria revelou apenas 20%.
Identificou 20 laços topológicos significativos em classes de falha utilizando homologia persistente.
Demonstrou que LLMs têm dificuldade em auditar seus próprios mecanismos de compressão, indicando limites estruturais.

Abstract

Pré-print. A sondagem ortogonal descobre aproximadamente 4–5× mais falhas do que a auto-auditoria no mesmo eixo (~80% vs ~20%) em um sistema de produção de 350.000 linhas. Afirmamos que essa assimetria reflete um limite estrutural: modelos de linguagem de grande porte (LLMs) treinados por meio de compressão analógica não conseguem auditar seu próprio manifold de compressão de dentro. Formalizado via indecidibilidade de Tarski e teorema de Rice. Homologia persistente em 58 classes de falha documentadas resulta em β₁ = 20 laços topológicos significativos. Implementação de referência de produção: 85 validadores determinísticos, 524 testes E2E, framework de sondagem em 8 eixos.

Read Full Paperexternally

Perguntar à IA

Bookmark

View Full Paper