Entropia Gabriela Kure

Gabriela Kure / Analitica de datos
Formula de la entropía
donde:
 IH(t) es la entropía de Shannon de la distribución de probabilidad en el tiempo t
 p(i|t) es la probabilidad de que el sistema esté en el estado i en el tiempo t
 log2 es el logaritmo en base 2
La fórmula se deriva de la definición de la entropía como la media de la información de

Shannon. La información de Shannon es una medida de la cantidad de información que se puede
obtener de una distribución de probabilidad. Se define como:
donde:
 I(i|t) es la información de Shannon del estado i en el tiempo t
La entropía de Shannon es la suma de la información de Shannon de todos los estados posibles.

Por lo tanto, la fórmula de la entropía de Shannon se puede expresar de la siguiente manera:
Utilizando la propiedad de la suma de logaritmos, se puede reescribir la fórmula como:

la fórmula se utiliza para medir la incertidumbre o aleatoriedad de una serie de tiempo. La serie
de tiempo se puede representar como una distribución de probabilidad, donde cada estado
representa un valor posible de la serie de tiempo. La fórmula de la entropía de Shannon se puede
utilizar para calcular la entropía de esta distribución de probabilidad.
Por ejemplo, si la serie de tiempo representa la temperatura del aire, cada estado podría
representar una temperatura diferente. La fórmula de la entropía de Shannon se puede utilizar
para calcular la entropía de la distribución de probabilidad de las temperaturas del aire. Una
entropía alta indica que la serie de tiempo es impredecible, mientras que una entropía baja indica
que la serie de tiempo es predecible.
¿Por qué se define así la entropía de Shannon?
1. Incertidumbre:
La entropía se origina en la idea de que cuanto más incierto o inesperado sea un evento, mayor
será la cantidad de información que proporciona. Cuando un evento es altamente probable, no
aporta mucha información nueva porque su ocurrencia era esperada.
Por ejemplo, si se lanza una moneda al aire, la probabilidad de que salga cara es de 0,5. Esto
significa que es un evento bastante predecible. Si salimos a la calle y vemos que está lloviendo,
no nos sorprende demasiado.
Sin embargo, si se lanzara una moneda al aire y saliera cara 10 veces seguidas, eso sería un
evento mucho más inesperado. Nos proporcionaría mucha información nueva sobre el
funcionamiento del mundo.
2. Base 2 del logaritmo:

El uso del logaritmo base 2 en la fórmula de la entropía es una elección matemática que tiene que
ver con la cantidad de bits necesarios para representar información.
En informática, la información se suele representar en bits. Un bit es una unidad de información

que puede tener dos valores: 0 o 1.
El logaritmo base 2 es una función matemática que nos dice cuántos bits necesitamos para
representar un valor. Por ejemplo, el logaritmo base 2 de 10 es 3,32. Esto significa que
necesitamos 3,32 bits para representar el número 10.
La entropía se mide en unidades de bits. El uso del logaritmo base 2 en la fórmula de la entropía
asegura que la entropía se mida en unidades de bits, lo que es especialmente relevante en el
contexto de la codificación de información.
3. Suma ponderada:
La entropía se calcula como una suma ponderada de las probabilidades de ocurrencia de los
eventos en un conjunto de datos. Esto refleja el hecho de que la información es más valiosa
cuando se asocia con eventos menos probables.
Por ejemplo, si lanzamos una moneda al aire 10 veces y sale cara 6 veces, la probabilidad de que
salga cara es de 0,6. La entropía de este conjunto de datos sería de aproximadamente 0,97 bits.
Si, por otro lado, lanzamos una moneda al aire 100 veces y sale cara 60 veces, la probabilidad de
que salga cara es de 0,6. La entropía de este conjunto de datos sería de aproximadamente 1,5
bits.
En este caso, el segundo conjunto de datos proporciona más información que el primero, incluso
though tienen la misma probabilidad de ocurrencia de caras. Esto se debe a que el segundo
conjunto de datos es menos probable que ocurra.
Bibliografía:
Mininni, P. D. (s. f.). Borges y la entropía de Shannon | Fisica Teorica 3 – 1er

cuatrimestre 2020. http://materias.df.uba.ar/ft3a2020c1/borges-y-la-entropia-de-shannon/
Shannon, C. E. (1948). A mathematical theory of communication. Bell System Technical

Journal, 27(3), 379-423.
Cover, T. M., & Thomas, J. A. (2006). Elements of information theory. New York:
Wiley-Interscience.
Bard. (2023, 26 de octubre). [Explicación de la entropía de Shannon]. Consultado el 26

de octubre de 2023, de https://es.wired.com/articulos/bard-responde-mal-una-pregunta-y-google-
pierde-100-mil-millones-de-dolares.

Entropia Gabriela Kure

Cargado por

Copyright:

Formatos disponibles

Entropia Gabriela Kure

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Entropia Gabriela Kure

Cargado por

Copyright:

Formatos disponibles

Gabriela Kure / Analitica de datos

 IH(t) es la entropía de Shannon de la distribución de probabilidad en el tiempo t

 p(i|t) es la probabilidad de que el sistema esté en el estado i en el tiempo t

 log2 es el logaritmo en base 2

La fórmula se deriva de la definición de la entropía como la media de la información de

 I(i|t) es la información de Shannon del estado i en el tiempo t

La entropía de Shannon es la suma de la información de Shannon de todos los estados posibles.

Utilizando la propiedad de la suma de logaritmos, se puede reescribir la fórmula como:

¿Por qué se define así la entropía de Shannon?

2. Base 2 del logaritmo:

En informática, la información se suele representar en bits. Un bit es una unidad de información

Mininni, P. D. (s. f.). Borges y la entropía de Shannon | Fisica Teorica 3 – 1er

Shannon, C. E. (1948). A mathematical theory of communication. Bell System Technical

Bard. (2023, 26 de octubre). [Explicación de la entropía de Shannon]. Consultado el 26

También podría gustarte