Probabilitat marginal

Estadística bayesiana
Teoria
A priori A posteriori Eficiència bayesiana Probabilitat bayesiana Teorema de Bayes Regla de Bayes Factor de Bayes Inferència bayesiana Xarxa bayesiana Principi d'indiferència Principi de màxima entropia Mètode empíric bayesià Criteri d'informació bayesià Interval creïble Distribució a priori conjugada Distribució posterior predictiva Estimació màxima a posteriori Verosimilitud Regla de Cromwell Teorema de Bernstein–von Mises
Tècniques
Regressió lineal bayesiana Estimador bayesià Computació bayesiana aproximada

Una probabilitat marginal és una funció de versemblança que s'ha integrat a l'espai de paràmetres. En l'estadística bayesiana, representa la probabilitat de generar la mostra observada per a tots els valors possibles dels paràmetres; es pot entendre com la probabilitat del propi model i, per tant, sovint s'anomena prova del model o simplement evidència.

A causa de la integració sobre l'espai de paràmetres, la probabilitat marginal no depèn directament dels paràmetres. Si no es centra en la comparació de models, la probabilitat marginal és simplement la constant normalitzadora que garanteix que la probabilitat posterior sigui una probabilitat adequada. Està relacionat amb la funció de partició en mecànica estadística.

Concepte

Donat un conjunt de punts de dades independents distribuïts de manera idèntica $\mathbf {X} =(x_{1},\ldots ,x_{n}),$ on $x_{i}\sim p(x|\theta )$ segons alguna distribució de probabilitat parametritzada per $\theta$, on $\theta$ en si és una variable aleatòria descrita per una distribució, és a dir $\theta \sim p(\theta \mid \alpha ),$ la probabilitat marginal en general es pregunta quina és la probabilitat $p(\mathbf {X} \mid \alpha )$ és, on $\theta$ ha estat marginat (integrat):

$p(\mathbf {X} \mid \alpha )=\int _{\theta }p(\mathbf {X} \mid \theta )\,p(\theta \mid \alpha )\ \operatorname {d} \!\theta$

La definició anterior es formula en el context de l'estadística bayesiana en aquest cas $p(\theta \mid \alpha )$ s'anomena densitat prèvia i $p(\mathbf {X} \mid \theta )$ és la probabilitat. La probabilitat marginal quantifica l'acord entre dades i a priori en un sentit geomètric fet precís  a de Carvalho et al. (2019). En les estadístiques clàssiques (frequentistes), el concepte de probabilitat marginal es produeix en canvi en el context d'un paràmetre conjunt $\theta =(\psi ,\lambda )$, on $\psi$ és el paràmetre real d'interès, i $\lambda$ és un paràmetre molest no interessant. Si existeix una distribució de probabilitat per $\lambda$, sovint és desitjable considerar la funció de probabilitat només en termes de $\psi$, en marginar-se $\lambda$ :

${\mathcal {L}}(\psi ;\mathbf {X} )=p(\mathbf {X} \mid \psi )=\int _{\lambda }p(\mathbf {X} \mid \lambda ,\psi )\,p(\lambda \mid \psi )\ \operatorname {d} \!\lambda$

Malauradament, les probabilitats marginals són generalment difícils de calcular. Es coneixen solucions exactes per a una petita classe de distribucions, especialment quan el paràmetre marginalitzat és l'anterior conjugat de la distribució de les dades. En altres casos, es necessita algun tipus de mètode d'integració numèrica, ja sigui un mètode general com la integració gaussiana o un mètode de Montecarlo, o un mètode especialitzat en problemes estadístics com l'aproximació de Laplace, el mostreig de Gibbs / Metròpolis o l'algorisme EM.

Aplicacions

Comparació de models bayesians

En comparació de models bayesians, les variables marginades $\theta$ són paràmetres per a un tipus concret de model i la resta de variables $M$ és la identitat del propi model. En aquest cas, la probabilitat marginada és la probabilitat de les dades donat el tipus de model, sense assumir cap paràmetre particular del model. Escriptura $\theta$ per als paràmetres del model, la probabilitat marginal del model M és

$p(\mathbf {X} \mid M)=\int p(\mathbf {X} \mid \theta ,M)\,p(\theta \mid M)\,\operatorname {d} \!\theta$

És en aquest context on normalment s'utilitza el terme evidència del model. Aquesta quantitat és important perquè la relació de probabilitats posterior per a un model M ₁ enfront d'un altre model M ₂ implica una relació de probabilitats marginals, l'anomenat factor de Bayes :

${\frac {p(M_{1}\mid \mathbf {X} )}{p(M_{2}\mid \mathbf {X} )}}={\frac {p(M_{1})}{p(M_{2})}}\,{\frac {p(\mathbf {X} \mid M_{1})}{p(\mathbf {X} \mid M_{2})}}$

que es pot afirmar esquemàticament com

probabilitats posteriors = probabilitats anteriors × factor de Bayes