Key points are not available for this paper at this time.
Modelos de Linguagem de Grande Escala são propensos a previsões tendenciosas e alucinações, sublinhando a importância crucial de entender seu processo de raciocínio interno do modelo. No entanto, alcançar atribuições fiéis para a totalidade de um modelo transformer de caixa-preta e manter a eficiência computacional é um desafio não resolvido. Ao estender o método de atribuição de Propagação de Relevância Camada-a-Camada para lidar com camadas de atenção, abordamos esses desafios de forma eficaz. Embora existam soluções parciais, nosso método é o primeiro a atribuir de forma fiel e holística não apenas as entradas, mas também representações latentes de modelos transformer com eficiência computacional semelhante a uma única passagem para trás. Através de extensivas avaliações contra métodos existentes no Llama 2, Flan-T5 e na arquitetura Vision Transformer, demonstramos que nossa abordagem proposta supera métodos alternativos em termos de fidelidade e possibilita a compreensão de representações latentes, abrindo a porta para explicações baseadas em conceitos. Fornecemos uma implementação de código aberto no GitHub https://github.com/rachtibat/LRP-for-Transformers.
Achtibat et al. (Qui,) estudaram esta questão.