Divergencia de Kullback-Leibler

Divergencia de Kullback-Leibler - Wikipedia, la enciclopedia libre https://es.wikipedia.
org/wiki/Divergencia_de_Kullback-Leibler
Divergencia de Kullback-Leibler
En teora de la probabilidad y teora de la informacin, la divergencia de Kullback-Leibler (KL)1 2 3
(tambin conocida como divergencia de la informacin, ganancia de la informacin, entropa relativa o
KLIC por sus siglas en ingls) es una medida no simtrica de la similitud o diferencia entre dos funciones de
distribucin de probabilidad P y Q. KL mide el nmero esperado de extra bits requeridos en muestras de
cdigo de P cuando se usa un cdigo basado en Q, en lugar de un cdigo basado en P. Generalmente P
representa la "verdadera" distribucin de los datos, observaciones, o cualquier distribucin terica. La
medida Q generalmente representa una teora, modelo, descripcin o aproximacin de P.
Aunque a menudo se considera como una mtrica o distancia, la divergencia KL no lo es en realidad por
ejemplo, no es simtrica: la divergencia KL de P a Q no necesariamente es la misma KL de Q a P.
La divergencia KL es un caso especial de una clase ms amplia de divergencias llamadas divergencias f. Fue
originalmente introducida por Solomon Kullback y Richard Leibler en 1951 como la divergencia
direccionada entre dos distribuciones. KL se puede derivar de la divergencia de Bregman.
ndice
1 Definicin
2 Propiedades
3 Aplicaciones
3.1 Estadstica
4 Referencias
5 Enlaces externos
Definicin
Para distribuciones de probabilidad P y Q de una variable aleatoria discreta su divergencia KL se define
como
En palabras, es el promedio ponderado de la diferencia logartmica entre las probabilidades P and Q, donde
el promedio se toma usando las probabilidades P. La divergencia KL solamente se define si P y Q suman 1
y si para cualquier i tal que . Si la cantidad aparece en la frmula, se interpreta
como cero.
Para distribuciones P y Q de una variable aleatoria continua, la divergencia KL se define como la integral:4
donde p y q representan las densidades de P y Q.
Ms generalmente, si P y Q son medidas de probabilidad sobre un conjunto X, y Q es absolutamente

continua con respecto a P, entonces la divergencia KullbackLeibler de P a Q se define como
1 de 3 27/09/2017 22:48
Divergencia de Kullback-Leibler - Wikipedia, la enciclopedia libre https://es.wikipedia.org/wiki/Divergencia_de_Kullback-Leibler
donde es la derivada de Radon-Nikodym de Q con respecto a P, y dado que la expresin al lado

derecho existe.
De la misma manera, si P es absolutamente continua con respecto a Q, entonces
lo cual se conoce como la entropia de P relativa a Q.
Continuando en este caso, si es cualquier medida en X para la cual y existe, entonces la
divergencia KullbackLeibler de P a Q est dada por
Los logaritmos en estas frmulas se toman como en base 2 si la informacin se mide en unidades de bits, o
en base e si la informacin se mide en nats. La mayora de frmulas relacionadas con la divergencia KL se
mantienen independiente de la base logartmica.
Nos referiremos a la divergencia de P a Q, aunque algunos autores la llaman la divergencia "de Q a P" y
otros la divergencia "entre P y Q" (aunque note que no es simtrica). Se debe tener cuidado debido a la falta
de estandarizacin en la terminologa.
Propiedades
Es siempre positiva (puede probarse usando la desigualdad de Jensen).
Es nula si y slo si P = Q.
No es simtrica (por lo que no se trata de una distancia).
Aplicaciones
Estadstica
En estadstica, la divergencia de Kullback-Leibler est ntimamente relacionada con el mtodo de ajuste de
distribuciones por mxima verosimilitud. En efecto, si se tienen observaciones independientes
de una variable aleatoria con funcin de densidad desconocida f y se tratan de ajustar dentro de una familia
de funciones de densidad , de acuerdo con la teora de la mxima verosimilitud, se busca el parmetro
que maximiza la funcin
que puede aproximarse (cuando n es grande) por
2 de 3 27/09/2017 22:48
Divergencia de Kullback-Leibler - Wikipedia, la enciclopedia libre https://es.wikipedia.org/wiki/Divergencia_de_Kullback-Leibler
Restando dicha expresin del trmino constante
se obtiene
que es la divergencia de Kullback-Leibler entre y la distribucin verdadera determinada por f. Es decir,

maximizar la funcin de verosimilitud es (aproximadamente) equivalente a encontrar el parmetro que
minimiza la divergencia de Kullback-Leibler entre la distribucin real y la familia de distribuciones
parametrizadas por dicho parmetro.
Referencias
1. Kullback, S.; Leibler, R.A. (1951). On Information and Sufficiency. Annals of Mathematical Statistics 22 (1):
7986. MR 39968 (https://www.ams.org/mathscinet-getitem?mr=39968). doi:10.1214/aoms/1177729694 (http://dx.doi.org
/10.1214%2Faoms%2F1177729694).
2. S. Kullback (1959) Information theory and statistics (John Wiley and Sons, NY).
3. Kullback, S.; Burnham, K. P.; Laubscher, N. F.; Dallal, G. E.; Wilkinson, L.; Morrison, D. F.; Loyer, M. W.;
Eisenberg, B. et al. (1987). Letter to the Editor: The KullbackLeibler distance. The American Statistician 41
(4): 340341. JSTOR 2684769 (https://www.jstor.org/stable/2684769).
4. C. Bishop (2006). Pattern Recognition and Machine Learning. p. 55.
Enlaces externos
Matlab code for calculating KL divergence (http://www.mathworks.com/matlabcentral/fileexchange
/loadFile.do?objectId=13089&objectType=file)
Sergio Verd, Relative Entropy (http://videolectures.net/nips09_verdu_re/), NIPS 2009. One-hour
video lecture.
Jon Shlens' tutorial on Kullback-Leibler divergence and likelihood theory (http://web.archive.org
/web/http://www.snl.salk.edu/~shlens/kl.pdf)
A modern summary of info-theoretic divergence measures (http://arxiv.org/abs/math/0604246)
Obtenido de https://es.wikipedia.org/w/index.php?title=Divergencia_de_Kullback-Leibler&
oldid=87029506
Se edit esta pgina por ltima vez el 19 nov 2015 a las 13:48.
El texto est disponible bajo la Licencia Creative Commons Atribucin Compartir Igual 3.0; pueden
aplicarse clusulas adicionales. Al usar este sitio, usted acepta nuestros trminos de uso y nuestra
poltica de privacidad.
Wikipedia es una marca registrada de la Fundacin Wikimedia, Inc., una organizacin sin nimo de
lucro.
3 de 3 27/09/2017 22:48

Divergencia de Kullback-Leibler

Cargado por

Copyright:

Formatos disponibles

Divergencia de Kullback-Leibler

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Divergencia de Kullback-Leibler

Cargado por

Copyright:

Formatos disponibles

Divergencia de Kullback-Leibler - Wikipedia, la enciclopedia libre https://es.wikipedia.

donde p y q representan las densidades de P y Q.

Ms generalmente, si P y Q son medidas de probabilidad sobre un conjunto X, y Q es absolutamente

donde es la derivada de Radon-Nikodym de Q con respecto a P, y dado que la expresin al lado

De la misma manera, si P es absolutamente continua con respecto a Q, entonces

lo cual se conoce como la entropia de P relativa a Q.

Continuando en este caso, si es cualquier medida en X para la cual y existe, entonces la

divergencia KullbackLeibler de P a Q est dada por

que puede aproximarse (cuando n es grande) por

Restando dicha expresin del trmino constante

que es la divergencia de Kullback-Leibler entre y la distribucin verdadera determinada por f. Es decir,

También podría gustarte