Resumo: Sistemas de reconhecimento de padrões — as arquiteturas algorítmicas que sustentam o aprendizado de máquina moderno — alcançam seu extraordinário poder analítico através de um mecanismo que simultaneamente define sua limitação estrutural. Treinados em distribuições históricas, esses sistemas identificam categorias conhecidas com alta confiança e velocidade. O que não conseguem fazer é registrar entradas que estão fora dessas categorias, não por falta de capacidade de processamento, mas devido à lógica fundamental do reconhecimento baseado em categorias. Exemplos adversariais, viés racial no reconhecimento facial e os eventos catastróficos de classificação errônea que acompanham a implantação de alto risco compartilham um mecanismo comum: a entrada fora da categoria que o sistema não detecta como anômala porque não possui uma estrutura para anomalia fora de seu intervalo treinado. A supervisão humana devidamente especificada não é uma redundância, mas um complemento estrutural — fornecendo a única função que sistemas sofisticados de reconhecimento de padrões são arquitetonicamente incapazes de fornecer: a capacidade de registrar que uma entrada não se encaixa em nenhuma categoria conhecida.
As Publicações Analíticas Angel (Sex,) estudaram esta questão.