Factor de Bayes

Estadística bayesiana
Teoria
A priori A posteriori Eficiència bayesiana Probabilitat bayesiana Teorema de Bayes Regla de Bayes Factor de Bayes Inferència bayesiana Xarxa bayesiana Principi d'indiferència Principi de màxima entropia Mètode empíric bayesià Criteri d'informació bayesià Interval creïble Distribució a priori conjugada Distribució posterior predictiva Estimació màxima a posteriori Verosimilitud Regla de Cromwell Teorema de Bernstein–von Mises
Tècniques
Regressió lineal bayesiana Estimador bayesià Computació bayesiana aproximada

El factor de Bayes és una relació de dos models estadístics competidors representats per la seva evidència, i s'utilitza per quantificar el suport d'un model sobre l'altre. Els models en preguntes poden tenir un conjunt comú de paràmetres, com ara una hipòtesi nul·la i una alternativa, però això no és necessari; per exemple, també podria ser un model no lineal en comparació amb la seva aproximació lineal. El factor Bayes es pot considerar un anàleg bayesià de la prova de la proporció de versemblança, tot i que utilitza la probabilitat marginal (integrada) més que la probabilitat maximitzada. Com a tal, ambdues quantitats només coincideixen sota hipòtesis simples (per exemple, dos valors de paràmetres específics). A més, a diferència de les proves de significació de la hipòtesi nul·la, els factors de Bayes donen suport a l'avaluació de l'evidència a favor d'una hipòtesi nul·la, en lloc de permetre que només es rebutgi o no es rebutgi el nul.

Encara que conceptualment senzill, el càlcul del factor Bayes pot ser un repte depenent de la complexitat del model i de les hipòtesis. Com que les expressions de forma tancada de la probabilitat marginal generalment no estan disponibles, s'han suggerit aproximacions numèriques basades en mostres MCMC. Per a certs casos especials, es poden derivar expressions algebraiques simplificades; per exemple, la relació de densitat de Savage-Dickey en el cas d'una hipòtesi precisa (restringida per la igualtat) contra una alternativa sense restriccions. Una altra aproximació, derivada aplicant l'aproximació de Laplace a les probabilitats integrades, es coneix com el criteri d'informació bayesià (BIC); en grans conjunts de dades, el factor Bayes s'aproximarà al BIC a mesura que la influència dels priors disminueixi. En conjunts de dades petits, els priors solen importar i no han de ser impropis ja que el factor de Bayes no estarà definit si cap de les dues integrals de la seva relació no és finita.

Definició

El factor de Bayes és la relació de dues probabilitats marginals; és a dir, les probabilitats de dos models estadístics integrats sobre les probabilitats prèvies dels seus paràmetres.

La probabilitat posterior $\Pr(M|D)$ d'un model M, les dades D es donen pel teorema de Bayes:

$\Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.$

El terme clau depenent de les dades $\Pr(D|M)$ representa la probabilitat que algunes dades es produeixin sota el supòsit del model M; avaluar-lo correctament és la clau per a la comparació de models bayesians.

Donat un problema de selecció de models en el qual es vol triar entre dos models a partir de les dades observades D, la plausibilitat dels dos models diferents M ₁ i M ₂, parametritzats per vectors de paràmetres del model $\theta _{1}$ i $\theta _{2}$, s'avalua pel factor de Bayes K donat per

$K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}={\frac {\frac {\Pr(M_{1}|D)\Pr(D)}{\Pr(M_{1})}}{\frac {\Pr(M_{2}|D)\Pr(D)}{\Pr(M_{2})}}}={\frac {\Pr(M_{1}|D)}{\Pr(M_{2}|D)}}{\frac {\Pr(M_{2})}{\Pr(M_{1})}}.$

Quan els dos models tenen la mateixa probabilitat prèvia, de manera que $\Pr(M_{1})=\Pr(M_{2})$, el factor de Bayes és igual a la relació de les probabilitats posteriors de M ₁ i M ₂. Si en comptes de la integral del factor de Bayes, s'utilitza la probabilitat corresponent a l'estimació de màxima versemblança del paràmetre per a cada model estadístic, aleshores la prova es converteix en una prova clàssica de relació de versemblança. A diferència d'una prova de relació de versemblança, aquesta comparació de models bayesià no depèn de cap conjunt únic de paràmetres, ja que s'integra sobre tots els paràmetres de cada model (respecte als respectius priors). Un avantatge de l'ús de factors Bayes és que automàticament, i de manera molt natural, inclou una penalització per incloure massa estructura del model. Així protegeix contra el sobreajustament. Per als models on una versió explícita de la probabilitat no està disponible o és massa costosa per avaluar-se numèricament, el càlcul bayesià aproximat es pot utilitzar per a la selecció de models en un marc bayesià, amb l'advertència que les estimacions bayesianes aproximades dels factors de Bayes sovint estan esbiaixades..

Altres enfocaments són:

• tractar la comparació de models com un problema de decisió, calculant el valor o el cost esperat de cada elecció de model;
• per utilitzar la longitud mínima del missatge (MML).
• utilitzar la longitud mínima de descripció (MDL).