Teoría de La Información
Teoría de La Información
Teoría de La Información
Ir a la navegaciónIr a la búsqueda
Comunicación.svg
La teoría de la información, también conocida como teoría matemática de la
comunicación (Inglés: mathematical theory of communication) o teoría matemática de
la información, es una propuesta teórica presentada por Claude E. Shannon y Warren
Weaver a finales de la década de los años 1940. Esta teoría está relacionada con
las leyes matemáticas que rigen la transmisión y el procesamiento de la información
y se ocupa de la medición de la información y de la representación de la misma, así
como también de la capacidad de los sistemas de comunicación para transmitir y
procesar información.1 La teoría de la información es una rama de la teoría de la
probabilidad que estudia la información y todo lo relacionado con ella: canales,
compresión de datos y criptografía, entre otros.
Índice
1 Historia
2 Desarrollo de la teoría
3 Finalidad
4 Teoría aplicada a la tecnología
5 Elementos de la teoría
5.1 Fuente
5.2 Tipos de fuente
5.3 Mensaje
5.4 Código
5.5 Información
6 Entropía e información
6.1 Entropía de una fuente
7 Otros aspectos de la teoría
8 Véase también
9 Referencias
Historia
La teoría de la información surgió a finales de la Segunda Guerra Mundial, en los
años cuarenta. Fue indicada por Claude E. Shannon a través de un artículo publicado
en el Bell System Technical Journal en 1948, titulado Una teoría matemática de la
comunicación (texto completo en inglés). En esta época se buscaba utilizar de
manera más eficiente los canales de comunicación, enviando una cantidad de
información por un determinado canal y midiendo su capacidad; se buscaba la
transmisión óptima de los mensajes. Esta teoría es el resultado de trabajos
comenzados en la década 1910 por Andrei A. Markovi, a quien le siguió Ralp V. L.
Hartley en 1927, quien fue el precursor del lenguaje binario. A su vez, Alan Turing
en 1936, realizó el esquema de una máquina capaz de tratar información con emisión
de símbolos, y finalmente Claude Elwood Shannon, matemático, ingeniero electrónico
y criptógrafo estadounidense, conocido como "el padre de la teoría de la
información”, junto a Warren Weaver, contribuyó en la culminación y el asentamiento
de la Teoría Matemática de la Comunicación de 1949 –que hoy es mundialmente
conocida por todos como la Teoría de la Información-. Weaver consiguió darle un
alcance superior al planteamiento inicial, creando un modelo simple y lineal:
Fuente/codificador/mensaje canal/decodificador/destino. La necesidad de una base
teórica para la tecnología de la comunicación surgió del aumento de la complejidad
y de la masificación de las vías de comunicación, tales como el teléfono, las redes
de teletipo y los sistemas de comunicación por radio. La teoría de la información
también abarca todas las restantes formas de transmisión y almacenamiento de
información, incluyendo la televisión y los impulsos eléctricos que se transmiten
en las computadoras y en la grabación óptica de datos e imágenes. La idea es
garantizar que el transporte masivo de datos no sea en modo alguno una merma de la
calidad, incluso si los datos se comprimen de alguna manera. Idealmente, los datos
se pueden restaurar a su forma original al llegar a su destino. En algunos casos,
sin embargo, el objetivo es permitir que los datos de alguna forma se conviertan
para la transmisión en masa, se reciban en el punto de destino y sean convertidos
fácilmente a su formato original, sin perder ninguna de la información
transmitida.2
Desarrollo de la teoría
El modelo propuesto por Shannon es un sistema general de la comunicación que parte
de una fuente de información que emite un mensaje. A través de un transmisor, se
emite una señal que viaja por un canal, donde puede ser interferida por algún
ruido. La señal sale del canal, llega a un receptor que decodifica la información
convirtiéndola posteriormente en mensaje que pasa a un destinatario. Con el modelo
de la teoría de la información se trata de llegar a determinar la forma más
económica, rápida y segura de codificar un mensaje, sin que la presencia de algún
ruido complique su transmisión. Para esto, el destinatario debe comprender la señal
correctamente; el problema es que aunque exista un mismo código de por medio, esto
no significa que el destinatario va a captar el significado que el emisor le quiso
dar al mensaje. La codificación puede referirse tanto a la transformación de voz o
imagen en señales eléctricas o electromagnéticas, como al cifrado de mensajes para
asegurar su privacidad. Un concepto fundamental en la teoría de la información es
que la cantidad de información contenida en un mensaje es un valor matemático bien
definido y medible. El término cantidad no se refiere a la cuantía de datos, sino a
la probabilidad de que un mensaje, dentro de un conjunto de mensajes posibles, sea
recibido. En lo que se refiere a la cantidad de información, el valor más alto se
le asigna al mensaje que menos probabilidades tiene de ser recibido. Si se sabe con
certeza que un mensaje va a ser recibido, su cantidad de información es cero.3
Finalidad
Otro aspecto importante dentro de esta teoría es la resistencia a la distorsión que
provoca el ruido, la facilidad de codificación y decodificación, así como la
velocidad de transmisión. Es por esto que se dice que el mensaje tiene muchos
sentidos, y el destinatario extrae el sentido que debe atribuirle al mensaje,
siempre y cuando haya un mismo código en común. La teoría de la información tiene
ciertas limitaciones, como lo es la acepción del concepto del código. El
significado que se quiere transmitir no cuenta tanto como el número de alternativas
necesario para definir el hecho sin ambigüedad. Si la selección del mensaje se
plantea únicamente entre dos alternativas diferentes, la teoría de Shannon postula
arbitrariamente que el valor de la información es uno. Esta unidad de información
recibe el nombre de bit. Para que el valor de la información sea un bit, todas las
alternativas deben ser igual de probables y estar disponibles. Es importante saber
si la fuente de información tiene el mismo grado de libertad para elegir cualquier
posibilidad o si se halla bajo alguna influencia que la induce a una cierta
elección. La cantidad de información crece cuando todas las alternativas son igual
de probables o cuanto mayor sea el número de alternativas. Pero en la práctica
comunicativa real no todas las alternativas son igualmente probables, lo cual
constituye un tipo de proceso estocástico denominado Márkov. El subtipo de Márkov
dice que la cadena de símbolos está configurada de manera que cualquier secuencia
de esa cadena es representativa de toda la cadena completa.
Elementos de la teoría
Tipos de fuente
Por la naturaleza generativa de sus mensajes, una fuente puede ser aleatoria o
determinista. Por la relación entre los mensajes emitidos, una fuente puede ser
estructurada o no estructurada (o caótica).
Mensaje
Un mensaje es un conjunto de ceros y unos. Un archivo, un paquete de datos que
viaja por una red y cualquier cosa que tenga una representación binaria puede
considerarse un mensaje. El concepto de mensaje se aplica también a alfabetos de
más de dos símbolos, pero debido a que tratamos con información digital nos
referiremos casi siempre a mensajes binarios.
Código
Un código es un conjunto de unos y ceros que se usan para representar un cierto
mensaje de acuerdo a reglas o convenciones preestablecidas. Por ejemplo, al mensaje
0010 lo podemos representar con el código 1101 usado para codificar la función
(NOT). La forma en la cual codificamos es arbitraria. Un mensaje puede, en algunos
casos, representarse con un código de menor longitud que el mensaje original.
Supongamos que a cualquier mensaje S lo codificamos usando un cierto algoritmo de
forma tal que cada S es codificado en L(S) bits; definimos entonces la información
contenida en el mensaje S como la cantidad mínima de bits necesarios para codificar
un mensaje.
Información
La información contenida en un mensaje es proporcional a la cantidad de bits que se
requieren como mínimo para representar al mensaje. El concepto de información puede
entenderse más fácilmente si consideramos un ejemplo. Supongamos que estamos
leyendo un mensaje y hemos leído "cadena de c"; la probabilidad de que el mensaje
continúe con "caracteres" es muy alta. Así, cuando efectivamente recibimos a
continuación "caracteres" la cantidad de información que nos llegó es muy baja pues
estábamos en condiciones de predecir qué era lo que iba a ocurrir. La ocurrencia de
mensajes de alta probabilidad de aparición aporta menos información que la
ocurrencia de mensajes menos probables. Si luego de "cadena de c" leemos
"himichurri" la cantidad de información que estamos recibiendo es mucho mayor.
Entropía e información
La información es tratada como magnitud física, caracterizando la información de
una secuencia de símbolos utilizando la entropía. Es parte de la idea de que los
canales no son ideales, aunque muchas veces se idealicen las no linealidades, para
estudiar diversos métodos de envío de información o la cantidad de información útil
que se pueda enviar a través de un canal.
La información necesaria para especificar un sistema físico tiene que ver con su
entropía. En concreto, en ciertas áreas de la física, extraer información del
estado actual de un sistema requiere reducir su entropía, de tal manera que la
entropía del sistema ({\displaystyle S}S) y la cantidad de información ({\
displaystyle I}{\displaystyle I}) extraíble están relacionadas por:
La longitud mínima con la cual puede codificarse un mensaje puede calcularse como
Li=log2(1/Pi) = -log2(Pi). Esto da una idea de la longitud a emplear en los códigos
a usar para los caracteres de un archivo en función de su probabilidad de
ocurrencia. Reemplazando Li podemos escribir H como:
Detección de errores
Bits de redundancia
Métodos de control de errores
Paridad
Códigos autochequeo y autocorrectores
Códigos de bloque
Distancia Hamming
Paridad horizontal y vertical
Códigos lineales
Códigos cíclicos
CRC16
CRC32
Véase también
Paradoja de Freedman
Sistema complejo
Teoría algorítmica de la información
Teoría de la información integrada
Referencias
Teoría matemática de la comunicación
Teoría Matemática de la Comunicación
Teoría de la Información
Teoría Matemático-informacional
Teoría de la Información | Textos Científicos
Teoría de la Información
«Teoría Matemática de la Información». Archivado desde el original el 9 de octubre
de 2010. Consultado el 5 de julio de 2011.
Control de autoridades
Proyectos WikimediaWd Datos: Q131222Commonscat Multimedia: Information theory
IdentificadoresBNE: XX527336BNF: 119321069 (data)GND: 4026927-9LCCN: sh85066289NDL:
00575012Microsoft Academic: 52622258Diccionarios y enciclopediasBritannica:
urlIdentificadores médicosMeSH: D007257OntologíasNúmero IEV: 171-07-01
Categorías: Teoría de la informaciónCiencia de los años 1940Era de la información