MCMC Usando Dinâmica Hamiltoniana

Apesar de alguns usos notáveis da simulação de processos aleatórios na era pré-computador (Hammersley e Handscomb, 1964, Seção 1.2; Stigler, 2002, Capítulo 7), o uso prático e disseminado da simulação teve que aguardar a invenção dos computadores. Quase assim que os computadores foram inventados, eles foram usados para simulação (Hammersley e Handscomb, 1964, Seção 1.2). O nome “Monte Carlo” começou como uma referência a jogos de azar que eram ilegais na maioria dos lugares (por volta de 1950), e o cassino em Monte Carlo era o mais famoso do mundo - mas logo se tornou um termo técnico sem cor para simulação de processos aleatórios. A cadeia de Markov Monte Carlo (MCMC) foi inventada logo após o Monte Carlo comum em Los Alamos, um dos poucos lugares onde computadores estavam disponíveis na época. Metropolis et al. (1953) simulou um líquido em equilíbrio com sua fase gasosa. A maneira óbvia de descobrir sobre o equilíbrio termodinâmico é simular a dinâmica do sistema e deixá-lo rodar até que atinja o equilíbrio. O grande feito foi a percepção de que não precisavam simular a dinâmica exata; apenas precisavam simular alguma cadeia de Markov tendo a mesma distribuição de equilíbrio. Simulações seguindo o esquema de Metropolis et al. (1953) são ditas usar o algoritmo de Metropolis. À medida que os computadores se tornaram mais amplamente disponíveis, o algoritmo de Metropolis foi amplamente utilizado por químicos e físicos, mas não se tornou amplamente conhecido entre estatísticos até depois de 1990. Hastings (1970) generalizou o algoritmo de Metropolis, e simulações seguindo seu esquema são ditas usar o algoritmo de Metropolis-Hastings. Um caso especial do algoritmo de Metropolis-Hastings foi introduzido por Geman e Geman (1984), aparentemente sem conhecimento de trabalhos anteriores. Simulações seguindo seu esquema são ditas usar o sampler de Gibbs. Grande parte do trabalho de Geman e Geman (1984) discute otimização para encontrar o modo posterior em vez da simulação, e levou algum tempo para ser entendido na comunidade de estatísticas espaciais que o sampler de Gibbs simulava a distribuição posterior, permitindo assim a inferência bayesiana completa de todos os tipos. Uma metodologia que mais tarde foi vista como muito semelhante ao sampler de Gibbs foi introduzida por Tanner e Wong (1987), novamente aparentemente sem conhecimento de trabalhos anteriores. Até hoje, alguns se referem ao sampler de Gibbs como “aumento de dados” seguindo esses autores. Gelfand e Smith (1990) tornaram a comunidade bayesiana mais ampla ciente do sampler de Gibbs, que até aquele momento havia sido conhecido apenas na comunidade de estatísticas espaciais. Então, decolou; até o momento da redação, uma busca por Gelfand e Smith (1990) no Google Scholar resulta em 4003 links para outros trabalhos. Foi rapidamente percebido que a maior parte da inferência bayesiana poderia ajudar pesquisadores a entender corretamente a teoria de MCMC (Geyer, 1992; Tierney, 1994) e que todo o trabalho mencionado anteriormente era um caso especial da noção de MCMC. Green (1995) generalizou o algoritmo de Metropolis-Hastings, na medida em que pode ser generalizado. Embora essa terminologia não seja amplamente utilizada, dizemos que simulações seguindo seu esquema usam o algoritmo de Metropolis-Hastings-Green. MCMC não é utilizado apenas para inferência bayesiana. A inferência de verossimilhança em casos onde a verossimilhança não pode ser calculada explicitamente devido a dados faltantes ou dependência complexa também pode usar MCMC (Geyer, 1994, 1999; Geyer e Thompson, 1992, 1995, e referências citadas).