Teoria - de - La - Informacion. Ezequiel Frias

TEORÍA DE LA INFORMACIÓN.
ENTROPÍA
COMUNICACIONES I
PRINCIPIOS DE LA TRANSMISIÓN DE INFORMACIÓN
Se puede definir la comunicación como el proceso mediante el cual se transfiere

información desde un punto en el espacio y en el tiempo, denominado “fuente
de información”, hasta otro punto denominado “destino de la información”, con
el mínimo de pérdidas o perturbaciones.
MODELO DE UN SISTEMA DE TRANSMISIÓN DE
INFORMACIÓN
Desde el punto de vista de la ingeniería de las comunicaciones, un sistema
completo de transmisión de información se puede representar entonces como se
muestra en la Fig.1.
Figura 1
• Fuente de Información : Es en donde la información o inteligencia a transmitir se
origina en la fuente de información.
• Transductor de Entrada : El mensaje que produce la fuente no es de naturaleza
eléctrica y, por lo tanto, es necesaria la presencia de un “transductor” o
“codificador” que convierta el mensaje en una “señal”.
• Transmisor : Es en donde ocurre el proceso de “modular” una señal sinusoidal con
la señal del transductor de entrada, sobre todo para transmisión a gran distancia.
• Canal : El canal de transmisión es el enlace eléctrico entre el transmisor y el
receptor. Puede ser un par de conductores, un cable coaxial, una fibra óptica o
sencillamente el espacio libre en el cual la señal se propaga en forma de una onda
electromagnética.
• Receptor : El objeto del receptor es el de extraer la señal deseada a partir de la
señal degradada transmitida por el canal.
• Ruido : El término “ruido” se utiliza comúnmente para denominar aquellas señales
que perturban la transmisión y procesamiento de señales en los sistemas de
comunicación y sobre las cuales no se tiene un control completo.
Al ruido externo lo podemos clasificar, someramente, en los siguientes tipos:
▪ Ruido Atmosférico: Producido por descargas eléctricas asociadas a las tormentas. Se conoce
comúnmente como “estática”.
▪ Ruido Extraterrestre: Incluye el debido al sol y otros cuerpos calientes del firmamento.
▪ Ruido producido por el hombre: Incluye las descargas por efecto corona en líneas de alta
tensión, el producido por motores eléctricos, sistemas de diatermia, ruido de conmutación, etc.
CONCEPTO Y MEDIDA DE LA INFORMACIÓN
El concepto de información supone la existencia de duda o incertidumbre. La
incertidumbre implica que existen diferentes alternativas que deberán ser elegidas,
seleccionadas o discriminadas. Las alternativas se refieren a cualquier conjunto de
signos construidos para comunicarse, sean estos letras, palabras, números, ondas, etc.
En este contexto, las señales contienen información en virtud de su potencial para

hacer elecciones. Estas señales operan sobre las alternativas que conforman la
incertidumbre del receptor y proporcionan el poder para seleccionar o discriminar
entre algunas de estas alternativas.
Al medir cuánta información proporciona la fuente al receptor al enviar un mensaje,
se parte del supuesto que cada elección está asociada con una cierta probabilidad,
siendo algunos mensajes más probables que otros. Uno de los objetivos de esta
teoría es determinar la cantidad de información que proporciona un mensaje, la cual
puede ser determinada a partir de su probabilidad de ser enviada.
Consideremos un suceso A cualquiera. Cuanto menos se sepa de un suceso mayor

será, digamos, nuestra sorpresa al conocer la realización del mismo. La ignorancia en
cuanto al suceso es simplemente la incertidumbre que se tiene acerca de él. Al
realizarse el suceso, la incertidumbre se convierte en certeza y hemos obtenido un
conocimiento o recibido una información. Por consiguiente, podemos decir que
Por otro lado, la magnitud de la incertidumbre depende del grado de probabilidad

de ocurrencia del suceso A. Cuanto mayor sea la probabilidad de ocurrencia del
suceso, menor será nuestra incertidumbre. En consecuencia, podemos decir que la
incertidumbre acerca del suceso A es función de la probabilidad de que dicho suceso
ocurra.
Sea entonces
U (A) = Incertidumbre acerca del suceso A.
I (A) = Información adquirida al realizarse el suceso A.
Pa = Probabilidad de ocurrencia del suceso A.
Podemos escribir entonces :
En este sentido, la información es una medida de la incertidumbre. Por lo tanto, la

información asociada con el conocimiento de que un suceso dado ha ocurrido, es una
función de la probabilidad de ocurrencia de ese suceso. Se trata entonces de hallar
la relación funcional f(PA).
Por lo tanto la relación funcional f(PA) cumple con lo siguiente:
La información asociada con el suceso A es igual a la suma de las informaciones

asociadas con los sucesos independientes B y C.
Por lo tanto, la única relación funcional que satisface las condiciones es una
función logarítmica de la forma:
Por lo tanto, La cantidad de información asociada con el suceso A será entonces:
I(A) es la cantidad de información, en bits, asociada con un suceso A cuya

probabilidad de ocurrencia es PA. Nótese que I(A) es una cantidad siempre positiva.
CARACTERIZACIÓN DE LA INFORMACIÓN
Entropía
La cantidad de información definida en la ecuación anterior ha sido
obtenida para un solo mensaje y no es apropiada para describir una
fuente que produce un conjunto de diferentes mensajes con
probabilidades diferentes. Un sistema de comunicación no está diseñado
para la transmisión de un mensaje particular sino para la transmisión de
todos los mensajes posibles producidos por una fuente.
CARACTERIZACIÓN DE LA INFORMACIÓN
Consideremos entonces una fuente discreta que produce N símbolos o
mensajes {x1, x2, x3, ..., xN} distintos e independientes, con
probabilidades de ocurrencia correspondientes {P1, P2, P3, ...., PN},
donde Pi ≠ Pj , i ≠ j. Desde un punto de vista probabilístico, el conjunto
discreto de N símbolos o mensajes producidos por la fuente se puede
considerar como un proceso aleatorio discreto; es entonces un conjunto
de N variables aleatorias, cada una de las cuales toma valores en el
conjunto {x1, x2, x3,..,xN} con probabilidades {P1 , P2 , ......., PN}.
ENTROPÍA
De la definición de la probabilidad, debe cumplirse que:
cuando se transmite un mensaje cualquiera xi , la información asociada

es Ii = log2(1/Pi) bits. Supongamos que se transmite una larga secuencia
de L mensajes o símbolos, donde L >> 1. En esta secuencia, el símbolo i-ésimo
ocurrirá aproximadamente LPi veces y la información asociada será LPiIi bits. La
información total contenida en la secuencia será, aproximadamente:
ENTROPÍA
La información promedio, en bits por símbolo, será entonces la información total de la
secuencia dividida por el número de símbolos de la misma. Esta información
promedio normalmente se representa con la letra H.
Esta es la “Entropía de la Fuente”. La Entropía define la incertidumbre de la fuente

de información y es la información promedio asociada con dicha fuente.
EJERCICIO PROPUESTO
Una fuente produce cuatro símbolos A, B, C y D cuyas probabilidades son, respectivamente,
0,5; 0,25; 0,125 y 0,125. La entropía de la fuente será:
Si los símbolos fueran equiprobables, esto es, si p = ¼, entonces
Vemos que la entropía H es máxima cuando los símbolos son equiprobables.

Teoria - de - La - Informacion. Ezequiel Frias

Cargado por

Copyright:

Formatos disponibles

Teoria - de - La - Informacion. Ezequiel Frias

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Teoria - de - La - Informacion. Ezequiel Frias

Cargado por

Copyright:

Formatos disponibles

TEORÍA DE LA INFORMACIÓN.

Se puede definir la comunicación como el proceso mediante el cual se transfiere

En este contexto, las señales contienen información en virtud de su potencial para

Consideremos un suceso A cualquiera. Cuanto menos se sepa de un suceso mayor

Por otro lado, la magnitud de la incertidumbre depende del grado de probabilidad

En este sentido, la información es una medida de la incertidumbre. Por lo tanto, la

La información asociada con el suceso A es igual a la suma de las informaciones

Por lo tanto, La cantidad de información asociada con el suceso A será entonces:

I(A) es la cantidad de información, en bits, asociada con un suceso A cuya

cuando se transmite un mensaje cualquiera xi , la información asociada

Esta es la “Entropía de la Fuente”. La Entropía define la incertidumbre de la fuente

Si los símbolos fueran equiprobables, esto es, si p = ¼, entonces

Vemos que la entropía H es máxima cuando los símbolos son equiprobables.

También podría gustarte