Cadena de Màrkov Monte Carlo

Convergència de l'algorisme Metropolis–Hastings. La cadena de Màrkov Monte Carlo intenta aproximar la distribució blava amb la taronja.

En estadística, els mètodes de la cadena de Màrkov Monte Carlo (amb acrònim anglès MCMC) comprenen una classe d'algorismes per al mostreig a partir d'una distribució de probabilitat. Construint una cadena de Màrkov que tingui la distribució desitjada com a distribució d'equilibri, es pot obtenir una mostra de la distribució desitjada registrant els estats de la cadena. Com més passos s'incloguin, més s'ajusta la distribució de la mostra a la distribució desitjada real. Existeixen diversos algorismes per construir cadenes, inclòs l'algoritme Metropolis–Hastings.

Els mètodes MCMC s'utilitzen principalment per calcular aproximacions numèriques d'integrals multidimensionals, per exemple en l'estadística bayesiana, la física computacional, la biologia computacional i la lingüística computacional.

En l'estadística bayesiana, el desenvolupament recent dels mètodes MCMC ha permès calcular grans models jeràrquics que requereixen integracions de centenars a milers de paràmetres desconeguts.

En el mostreig d'esdeveniments rars, també s'utilitzen per generar mostres que omplin gradualment la regió de fallades rares.

Els mètodes de Montecarlo de la cadena de Màrkov creen mostres a partir d'una variable aleatòria contínua, amb una densitat de probabilitat proporcional a una funció coneguda. Aquestes mostres es poden utilitzar per avaluar una integral sobre aquesta variable, com el seu valor esperat o variància.

Si bé els mètodes MCMC es van crear per abordar problemes multidimensionals millor que els algorismes genèrics de Montecarlo, quan el nombre de dimensions augmenta, també tendeixen a patir la maledicció de la dimensionalitat: les regions de més probabilitat tendeixen a estirar-se i perdre's en un volum creixent d'espai. que contribueix poc a la integral. Una manera d'abordar aquest problema podria ser escurçant els passos del caminant, de manera que no intenti sortir contínuament de la regió de més probabilitat, tot i que d'aquesta manera el procés seria molt autocorrelacionat i costós (és a dir, es necessitarien molts passos per a un resultat precís). Mètodes més sofisticats com el Monte Carlo Hamiltonià i l'algorisme de Wang i Landau utilitzen diverses maneres de reduir aquesta autocorrelació, alhora que aconsegueixen mantenir el procés en les regions que donen una contribució més alta a la integral. Aquests algorismes solen basar-se en una teoria més complicada i són més difícils d'implementar, però solen convergir més ràpidament.