Conjuntos de Árvores de Regressão Bayesiana que se Adaptam à Suavidade e Esparsidade

Resumo Conjuntos de árvores de decisão são uma ferramenta útil para obter estimativas flexíveis de funções de regressão. Exemplos desses métodos incluem árvores de decisão impulsionadas por gradiente, florestas aleatórias e árvores de classificação e regressão bayesianas. Duas possíveis desvantagens dos conjuntos de árvores são a falta de suavidade e sua vulnerabilidade à maldição da dimensionalidade. Mostramos que esses problemas podem ser superados ao considerar árvores de decisão macias que induzem esparsidade, nas quais as decisões são tratadas como probabilísticas. Implementamos isso no contexto da estrutura de árvores de regressão aditiva bayesiana e ilustramos seu desempenho promissor por meio de testes em conjuntos de dados de referência. Fornecemos um forte suporte teórico para nossa metodologia, mostrando que a distribuição posterior se concentra na taxa minimax (até um fator logarítmico) para funções esparsas e funções com estruturas aditivas no regime de alta dimensionalidade, onde a dimensionalidade do espaço de covariáveis pode crescer quase exponencialmente em relação ao tamanho da amostra. Nosso método também se adapta aos níveis desconhecidos de suavidade e esparsidade e pode ser implementado fazendo modificações mínimas nos algoritmos existentes de árvores de regressão aditiva bayesiana.