Lecture 4 Teoría de La Información

COM II I. Zamora Uni II - Conf 4: Cod. fte. Fmteo.
1
Comunicaciones II

Conferencia 4: Teora de la Informacin.
UNIDAD II: FORMATEO DE SEALES Y CODIFICACIN FUENTE

Instructor: Israel M. Zamora, P.E., MS Telecommunications Management
Profesor Titular, Departamento de Sistemas Digitales y Telecomunicaciones.
Universidad Nacional de Ingeniera
Universidad Nacional de Ingeniera
COM II I. Zamora Uni II - Conf 4: Cod. fte. Fmteo. 2
Contenido
Teora de la Informacin
Medida de la Informacin
Entropa
Propiedades de la Entropa
Ejemplo 1
Ejemplo 2
Ejemplo 3
Entropa de fuente extendida
Ejemplo 4
Codificacin fuente (nuevamente)
Codificacin fuente: cdigo Huffman
En esta conferencia estudiamos los conceptos de INFORMACIN
y ENTROPA. Con esta teora, es posible determinar
matemticamente la tasa mxima de transmisin de informacin a
travs de un canal dado. Esto es lo que llamamos CAPACIDAD DE
CANAL.

An cuando usualmente no es posible alcanzar la CAPACIDAD DE
CANAL en los sistemas prcticos, es un buen punto de referencia
cuando se evala el desempeo de un sistema.

De hecho, la ley de Shannon-Hartley es una ley fundamental
importante en el campo de la teora e las comunicaciones, y es
muy til tambin en el trabajo prctico ingenieril.

En el estudio de esta conferencia, se tendr que las seales
mensaje se modelan como procesos aleatorios. Iniciaremos
considerando lo observable en una variable aleatoria:
Cada observacin da cierta cantidad de informacin.
Las observaciones raras dan mas observacin que las usuales.
Qu entendemos por el trmino informacin?
La nocin intuitiva y comn de informacin se refiere
a cualquier nuevo conocimiento acerca de algo.

Sin embargo, en nuestro contexto, apelaremos a la
teora de la informacin. Esta disciplina de amplia
base matemtica ha efectuado aportaciones
fundamentales, no solo a las comunicaciones, sino
tambin a la ciencia del cmputo, la fsica estadstica
y la inferencia estadstica, as como a la probabilidad
y la estadstica.

En el contexto de las comunicaciones, la teora de la
informacin tiene que ver con el modelado y el
anlisis matemtico de un sistema de comunicacin
y no con los canales y las fuentes fsicos.
En particular, esto proporciona respuestas a dos
preguntas fundamentales (entre otras):

Cul es la complejidad irreductible debajo de la cual no
es posible comprimir una seal?
Cul es la mxima velocidad de transmisin de
informacin posible en un canal de comunicaciones con
la cantidad mnima de errores posibles (comunicacin
confiable).

Los tericos de informacin procuran determinar la
forma en que esto es posible y, si existe alguna cota
mxima posible de alcanzar.

La teora de la informacin tambin permite establecer si
es posible encontrar un cdigo de fuente que permita
enviar ms informacin en menos tiempo.
Una de las cosas ms importantes que debemos
acordar es:
podemos establecer una buena medida de lo que es
informacin?
Cmo obtener un mecanismo para establecer el grado
de informacin que contiene un grupo limitado de
mensajes?

La respuesta a estas preguntas se encuentran en la
entropa de una fuente y en la capacidad de un canal.
Entropa:
Se define en trminos del comportamiento probabilstico de una fuente de
informacin.
Capacidad de Canal:
Se define como la posibilidad intrnseca de un canal para transportar informacin;
se relaciona de forma natural con las caractersticas de ruido de canal.
En trminos generales, la medida de la informacin que
genera una fuente est relacionada con la calidad o
nivel de novedad (conocimiento) que provee al
destino.
Por ejemplo, considrese que una fuente slo puede transmitir uno de
los 4 mensajes siguientes:
x
1
: Maana saldr el sol por el Este.
x
2
: La prxima clase de este curso la dar Bernard Sklar
x
3
: Durante la prxima semana se cerrar la Avenida Bolvar por reparaciones.
x
4
: En un mes ocurrir un alineamiento exacto con respecto al sol, de todos los
planetas del sistema solar incluyendo sus satlites naturales.

1. Cul de estos mensajes tiene ms informacin?
2. En base a qu fenmeno se puede establecer el grado de informacin
que tiene uno de estos mensajes?
La respuesta es que la informacin es inversamente
proporcional a la probabilidad de ocurrencia del
mensaje.
1. Por tanto, el mensaje x
1
no es informacin ya que no agrega
conocimiento ya que todos sabemos que el sol sale por el Este y que
dicho evento ocurrir con el 100% de certeza (siempre ocurre).
2. El mensaje x
2
conlleva bastante informacin debido al nivel de
novedad que tiene el hecho que el Profesor Bernard Sklar, PhD,
imparta la prxima conferencia. Sin embargo, podemos decir que este
evento es poco probable, aunque posible, ya que est rodeado de
incertidumbre puesto que nunca ha sucedido.
3. El mensaje x
3
es bastante probable ya que en ocasiones anteriores ha
ocurrido, es decir, con cierta frecuencia este evento se repite.
4. El mensaje x
4
resulta ser casi imposible, aunque no se descarta, y
sera un magno evento si ocurriera, llevando una vasta cantidad de
informacin y conocimiento.
Con base en lo anterior, se infiere que el mensaje x
4
conlleva la mayor
cantidad de informacin por ser el menos probable y encerrar un alto
grado de incertidumbre.
De la discusin y anlisis anterior, se puede concluir que la cantidad de
informacin debe satisfacer las siguientes condiciones:

1. El contenido de informacin del smbolo (evento) x
k
depende slo de
su probabilidad de ocurrencia.
2. La informacin propia es una funcin continua.
3. La informacin propia es una funcin decreciente de su argumento, es
decir, el evento menos probable conlleva mayor informacin
4. Si los eventos j y j
1
y j
2
estn relacionados tal que j={j
1
,j
2
} y p
j
=p
j1
p
j2

entonces:
informacin (p
j
)= informacin (p
j1
)+ informacin (p
j2
)

Desde un punto de vista de ingeniera interesa establecer medidas
comparativas de la riqueza de informacin que puede tener un conjunto de
mensajes.

) (
k
x I Usamos la nomenclatura de informacin dada por:
ntes. independie amente estadstic son
4
ocurre. ste cuando gana
se n informaci ms tanto evento, un es probable menos cuanto decir, Es
3
n. informaci de prdida una origina nunca pero
n, informaci no o a proporcion x X evento un de ocurrencia la decir, Es
1 0 0
2
n. informaci gana se no ocurran, que de antes incluso evento, un de
resultado del seguros nte absolutame estamos si nte, Evidenteme
1 0
1
: intituiva manera de satisface se que
s importante s propiedade siguientes las exhibir debe n informaci de definicin La
k
y x ) si x I(x ) I(x ) x I(x
.
p para p ) I(x ) I(x
.
p para ) I(x
.
p para ) (x I
.
j k j k j k
j k j k
k k
k k
+ =
< >
=
s s >
= =
Una buena medida es la esperanza matemticas de los valores estadsticos
de un espacio muestral. Consideremos una fuente de informacin que enva
uno de los smbolos del siguiente alfabeto:

Cada uno de los smbolos es entonces una muestra de la variable aleatoria
discreta X la cual toma smbolos de dicho alfabeto. La probabilidad que un
smbolo x
k
sea enviado (ocurra) est dada por:

Entonces una medida de la informacin propia que acarrea cada
smbolo x
k
sera:

{ }
1 1 0
=
K X
x ,..., x , x L
=
= = = =
1
0
1 1 1 0
K
k
k k k
p on c , ...,K- , , k p ) x P(X
k
k
p
) x ( I
1
=
Medida en bits
Fuente Discreta
de Informacin
X

2 1 0 1 2
x x x x x

El valor medio o esperanza de la informacin que acarrea la variable aleatoria
discreta X, la cual sera:

Sin embargo, definir la informacin del mensaje como I(x
k
)= 1/p
k
, crea un
serio problema para establecer la esperanza de la medida de informacin y
para cumplir con las 4 condiciones impuestas en la diapositiva #10.

Se puede probar que esta inconveniencia desaparece si se estable que:

El log
2
1/p
k
se justifica dado que un bit es la cantidad mnima de informacin:
la ausencia o presencia de un mensaje determinado.
( )
k k
k
k
p log ) x ( I ,
p
log ) x ( I
2 2
1
=
|
|
.
|
\
|
=
| |

=
= =
1
0
1
K
k
k
k k
p
x X E )] x ( I [ E
Medida en bits
En este caso se define a la entropa, como la media de la informacin
acarreada por la variable aleatoria discreta X, y se calcula como:

La cantidad H(X) recibe el nombre de entropa de una fuente discreta sin
memoria con alfabeto de fuente. Esta es una medida del contenido de
informacin promedia por smbolo de la fuente. Se debe notar que H(X)
depende slo de las probabilidades del smbolo en alfabeto L
X
de la fuente.
Entropa
| |
( )
=
=
|
|
.
|
\
|
= = =
1
0
2
1
0
2
1
K
k
k k
K
k
k
k k
p log p
p
log p X E )] x ( I [ E ) X ( H

Medida en
bits
Propiedades de la Entropa
mxima. bre incertidum a e correspond
entropa la de superior cota la es esta ; probables)
igualmente son L alfabeto el en smbolos los todos
decir, (es toda para si solo y si 3.
bre. incertidum ninguna a e correspond
entropa la de inferior cota esta cero; todas son
conjunto el en restantes ades probabilid las y , alguna
para ad probabilid la s solo y si , 2.
fuente.
alfabeto del smbolos) de (nmero base la es K donde

: por acotada est matemtico modelo cuyo
memoria sin discreta fuente una de entropa La 1.
X
k /K p , K log H(X)
k
p H(X)
K log H(X)
k
k
1
1 0
0
2
2
= =
= =
s s
X
L
Ejemplo 1
Consideremos una fuente binaria discreta sin memoria (DMS) cuyo alfabeto est
compuesto de smbolos enviados con las probabilidades p y 1 - p respectivamente.
Determinaremos la entropa de este alfabeto, trazaremos su grfica y determinaremos
el valor de p que maximiza dicha entropa
( )
) p ( H p) ( log p) ( p log p
p log p H(X)
k
k k
= =
=

=
1 1
2 2
1
0
2

} , { e Tenemos qu 1 0 =
X
L
= =
= =
p p con x
p p con x
1 1
0
1 1
0 0
1. Cuando p=0, la entropa H(X)=0, esto
es porque xlogx-->0 cuando x-->0.
2. Cuando p=1. la entropa H(X)=0.
3. La entropa, H(X) alcanza su valor
mximo, H
mx
=1 bit, cuando p
1
=p
2
=1/2,
es decir, los smbolos son
equiprobables.
Este resultado tambin se obtiene al derivar H(X) e
igualando a cero para determinar su mximo. Luego se
despeja p, o sea hallar p tal que dH(p)/dp=0,
H
(
X
)

e
n

b
i
t
s

Probabilidad de smbolo
H
mx

NOTA: Observe que en el estudio que realizaremos sobre el formateo de seales como
PCM y DM, la tasa de muestreo r la denominaremos f
S
, y la velocidad de transmisin de
informacin binaria como R
b
.
Si consideramos una fuente discreta en el tiempo y en la amplitud que
crea observaciones independientes de una variable aleatoria X a una tasa
de r muestras por segundo, entonces la tasa de emisin (transmisin) de
la fuente es:

Tal fuente puede ser codificada usando un codificador fuente, en una
corriente de bit, cuya tasas de transmisin de bits es menor que R+e, con
e>0.

Es oportuno notar que a menudo es difcil construir cdigos que provean
una tasa que sea arbitrariamente cercana a R. Pero a menudo es fcil
alcanzar una tasa mas o menos cercana a R.
) (X rH R =
Ejemplo 2
Una fuente con un ancho de banda de 4000Hz es muestreada a la frecuencia de
Nyquist y es cuantizada a cinco niveles. Asumiendo que la secuencia resultante puede
modelarse aproximadamente por un DMS con un alfabeto {-2, -1, 0, 1, 2} y con sus
probabilidades correspondientes de {1/2, 1/4, 1/8, 1/16, 1/16}. Determinaremos la tasa o
velocidad de transmisin de la fuente en bits por segundos.
( )
|
.
|
\
|
+
|
.
|
\
|
+
|
.
|
\
|
+
|
.
|
\
|
+
|
.
|
\
|
=
=

=
16
1
16
1
16
1
16
1
8
1
8
1
4
1
4
1
2
1
2
1
2 2 2 2 2
5
0
2
log log log log log
p log p H(X)
k
k k
} ,x ,x ,x ,x {x e Tenemos qu
4 3 2 1 0
=
X
L
= =
= =
= =
= =
= =
16 1 1
16 1 1
8 1 0
4 1 1
2 1 2
4 4
3 3
2 2
1 1
0 0
/ p con x
/ p con x
/ p con x
/ p con x
/ p con x
con
muestras / bits H(X)
8
15
=
bps
muestras
bits
seg
muestras
H(X) r R
b
000 , 15
8
15
000 , 8 = = =
Por tanto, podemos hallar la velocidad de transmisin como:
Ejemplo 3
Entropa de fuente extendida
En la prctica, la transmisin de informacin ocurre mas en bloques de smbolos que
en smbolos individuales. El alfabeto L
n
X

compuesto de estos de K
n
(donde K es el
nmero de smbolos individuales distintos del alfabeto fuente original L
X
) bloques
distintos suele nombrarse como alfabeto extendido en cuyo caso la determinacin de
la medida de informacin y de la entropa, cuando la fuente es DMS, se obtiene como:
) X ( nH ) X ( H
n
=
donde:
La entropa de un alfabeto compuesto de orden n es
igual a n veces la entropa de el alfabeto original de
orden 1 que le dio origen.
{ }
1 1 0
=
K X
x ,..., x , x L
{ } ) x ... x x )...( x ... x x )( x ... x x (
K K n n n
X
2 1 1 2 0 1 1 0
=
n
L
Compuesto de K
n
bloques de
n smbolos
Compuesto de K smbolos
Ejemplo 4
Considere una fuente discreta sin memoria con alfabeto de fuente L
X
={x
0
, x
1
,
x
2
} con probabilidades respectivas ={1/4, 1/4, 1/2}. Determinaremos la
entropa H(X) y la entropa compuesta para n=2, o H(X
2
). Se comprobar que
H(X
2
)=2H(X).

( ) bits p log p H(X)
k
k k
2
3
2
0
2
= =

=
Se deja como ejercicio los detalles de este clculo.
Cuadro auxiliar donde se muestran los alfabetos L
X

y L
2
X
Smbolos
(bloques) L
2
X

c
0
c
1
c
2
c
3
c
4
c
5
c
6
c
7
c
8
Secuencia
correspondiente
de smbolos L
X
x
0
x
0
x
0
x
1
x
0
x
2
x
1
x
0
x
1
x
1
x
1
x
2
x
2
x
0
x
2
x
1
x
2
x
2
Probabilidad de
smbolos L
2
X
1/16 1/16 1/8 1/16 1/16 1/8 1/8 1/8 1/4
) ,..., , ( L de distintos bloques 9 3 K tanto por
bloque por smbolos 2 n
) x , x , (x L de ntes independie smbolos 3 K que Observe
8 1 0
2
X
2 n
2 1 0 X
= =
=
=
X
L
2
X
L
Ejemplo 3
Evaluando el resultado tenemos.

( ) +
|
.
|
\
|
+
|
.
|
\
|
+
|
.
|
\
|
= = c =

= c
c c
8
1
8
1
16
1
16
1
16
1
16
1
2 2 2
8
0
2
2
log log log p log p ) H( ) H(X
|
.
|
\
|
+
|
.
|
\
|
+
|
.
|
\
|
+
|
.
|
\
|
+
|
.
|
\
|
+
|
.
|
\
|
+
4
1
4
1
8
1
8
1
8
1
8
1
8
1
8
1
16
1
16
1
16
1
16
1
2 2 2 2 2 2
log log log log log log
bits ) H(X 3
2
=
De tal manera vemos que H(X
2
)=2H(X), es decir (3) = (2)*(3/2)

Hemos indicado que uno de los objetivos de la teora de la informacin es establecer si
es posible encontrar un cdigo de fuente que permita enviar ms informacin en
menos tiempo, esto es, encontrar un cdigo que sea suficientemente eficiente.

Por cdigo eficiente se entiende aquel cdigo cuya longitud media es la mnima
posible que resulta de asignar cdigos mas cortos a smbolos mas probables y
cdigos mas largos a smbolos menos probables. En la conferencia #3, estudiamos un
caso particular conocido como Cdigo Huffman el cual cumple con esta condicin.
Alfabeto Fuente
Probabilidad de los smbolos
del Alfabeto Fuente
Longitud media del cdigo
Varianza de la longitud de los cdigos
=
=
1
0
K-
k
k k X
l p L
{ }
1 1 0
=
K X
x ,..., x , x L
=
= =
= =
1
0
1 1 1 0
K
k
k
k k
p con , ...,K- , k
p ) x P(X
( )
2
1
0
2
=
=
K-
k
k k X
L l p
Dada una fuente discreta sin memoria de
entropa H(X),La longitud promedio de
palabra de cdigo L para cualquier
esquema de codificacin fuente sin
distorsin est acotada como:

) ( X H L
X
>
Primero teorema de Shannon
Matemticamente, la eficiencian de un cdigo se define como:
X
L
) X ( H
=
Es el valor mnimo posible de L
X
1
tan 1
s >
da que en la medi efeciente ser mas el cdigo
to , por que se observa L L con
mn X
El valor mnimo de L (L
mn
) se obtiene a travs del primer teorema de
Shannon conocido como teorema de la codificacin fuente. Este teorema se
enuncia como:
Fuente discreta
sin memoria
Fuente discreta
sin memoria
x
k
a
k
Secuencia
Binaria

Entonces, la
eficiencia del cdigo
se puede reescribir
como:
X
mn
L
L
=
n =1
La redundancia del
cdigo se calcula
como:
Codificacin fuente: cdigo Huffman
Para el cdigo Huffman, puede mostrarse que el nmero medio de bits de
cdigo de un smbolo fuente, L(x) satisface la relacin siguiente:

Cuando se codifican n smbolos al mismo tiempo, se obtiene el resultado
correspondiente:

As que, al usar cdigos amplios de Huffman, con bloques de longitud
suficientemente grande, es posible que se llegue arbitrariamente a
valores muy cercanos del lmite de la entropa. Esto no es una forma
prctica, pero este desarrollo bsicamente constituye una prueba del
teorema de codificacin fuente.

Una limitacin fundamental de los cdigos Huffman es que las
estadsticas de los smbolos fuentes tienen que ser conocidas (o
estimadas).
1 ) ( ) ( + s s X H L X H
X
n X H L X H
X
1 ) ( ) ( + s s

Lecture 4 Teoría de La Información

Cargado por

Copyright:

Formatos disponibles

Lecture 4 Teoría de La Información

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Lecture 4 Teoría de La Información

Cargado por

Copyright:

Formatos disponibles

COM II I. Zamora Uni II - Conf 4: Cod. fte. Fmteo.

También podría gustarte