Reconhecimento de Imagem Interpretabel com Protótipos Hierárquicos

Modelos de visão são interpretáveis quando classificam objetos com base em características que uma pessoa pode entender diretamente. Recentemente, métodos que dependem de protótipos de características visuais foram desenvolvidos para esse propósito. No entanto, ao contrário de como os humanos categorizam objetos, essas abordagens ainda não fizeram uso de qualquer organização taxonômica de rótulos de classe. Com uma tal abordagem, por exemplo, podemos ver por que um chimpanzé é classificado como chimpanzé, mas não por que foi considerado um primata ou mesmo um animal. Neste trabalho, introduzimos um modelo que utiliza protótipos organizados hierarquicamente para classificar objetos em todos os níveis de uma taxonomia predefinida. Assim, podemos encontrar explicações distintas para a previsão que uma imagem recebe em cada nível da taxonomia. Os protótipos hierárquicos permitem que o modelo desempenhe outra tarefa importante: classificar imagens de classes previamente não vistas de maneira interpretável no nível da taxonomia ao qual elas se relacionam corretamente, por exemplo, classificar uma pistola como uma arma, quando as únicas armas nos dados de treinamento são rifles. Com um subconjunto do ImageNet, testamos nosso modelo em comparação ao seu modelo black-box em duas tarefas: 1) classificação de dados de classes familiares e 2) classificação de dados de classes previamente não vistas no nível apropriado da taxonomia. Descobrimos que nosso modelo tem um desempenho aproximadamente tão bom quanto seu modelo black-box, enquanto permite que cada classificação seja interpretada.