Modelos de aprendizado de máquina estão sendo cada vez mais adaptados em cenários onde a supervisão é incompleta, tendenciosa ou indireta, e onde as distribuições de dados, tarefas e requisitos comportamentais evoluem. Em tais regimes, otimizar apenas o objetivo da tarefa muitas vezes leva a aprendizados espúrios de atalho, esquecimento catastrófico ou deriva comportamental indesejada. Esta tese estuda como a introdução de estrutura adicional no processo de aprendizado, além da minimização padrão do risco empírico, permite uma adaptação mais confiável do modelo nos domínios de visão e linguagem. Na reconhecimento visual, a tese desenvolve métodos de aprendizado de representação estruturada que melhoram a eficiência dos dados, interpretabilidade e robustez. Introduzimos uma estrutura de supervisão fraca para aprender representações semânticas espacialmente fundamentadas através de alocação e regularização de desenredamento, melhorando a generalização de poucos disparos sem exigir uma supervisão de localização forte. Além disso, abordamos o aprendizado de correlação incidental em modelos baseados em partes, separando explicitamente fatores de primeiro e segundo plano e forçando a invariância, melhorando assim a robustez contra mudanças de fundo e perturbações de domínio. A tese também propõe uma estrutura de detecção contínua de objetos sem replay que mitiga o esquecimento catastrófico e previne confusões entre objetos previamente aprendidos e o fundo durante atualizações incrementais. Finalmente, a tese estende esses princípios para o ajuste fino de modelos de fundação. Ela introduz uma estrutura de ajuste fino ciente de alinhamento que incorpora feedback de modelos de verificação externos através de um termo de regularização baseado em gradiente de política, permitindo controle sobre propriedades comportamentais como segurança e factualidade enquanto preserva o desempenho da tarefa. Juntas, essas contribuições demonstram que uma adaptação confiável requer sinais de aprendizado além da perda da tarefa, possibilitando modelos robustos, interpretáveis e alinhados sob mudança de distribuição e ajuste fino repetido.
Gaurav Bhatt (qui,) estudou esta questão.