Теория информации

Теория информации (математическая теория связи) — раздел прикладной математики, определяющий понятие информации, её свойства и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, оперирует с математическими моделями, а не с реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики.

Основные разделы теории информации — кодирование источника (сжимающее кодирование) и канальное (помехоустойчивое) кодирование. Теория информации тесно связана с криптографией и другими смежными дисциплинами.

История

Основная статья: Хронология развития теории информации

Клода Шеннона (1916—2001) называют «отцом теории информации». Разработанная им теория, изначально понимавшаяся как строго математическая задача в статистике, дала инженерам-разработчикам систем передачи данных возможность определения ёмкости коммуникационного канала. Часть теории, изучающей передачу информации, не занимается значением (семантикой) передаваемого сообщения, однако дополняющая часть теории информации обращает внимание на содержимое через сжатие с потерями субъекта сообщения, используя критерий точности.

Разработанные Шенноном в 40-х годах основы теории информации в последующие годы были существенно дополнены и расширены работами Н. Винера, В. А. Котельникова и А. Н. Колмогорова.

Применение

Теория информации широко используется в

• Теории кодирования
• Криптографии и Криптоанализе
• Сжатии данных
• Теории обнаружения
• Теории оценки

См. также

• Линейная частичная информация
• Единицы измерения информации
• Алгоритмическая теория информации
• Информация Фишера
• Синергетика
• Реньи, Альфред
• SZTAKI Desktop Grid

Библиография

• Claude E. Shannon, Warren Weaver. The Mathematical Theory of Communication. Univ of Illinois Press, 1963. ISBN 0-252-72548-4
• Thomas M. Cover, Joy A. Thomas. Elements of information theory New York: Wiley, 1991. ISBN 0-471-06259-6
• R. Landauer, Information is Physical Proc. Workshop on Physics and Computation PhysComp’92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4.
• Maxwell’s Demon: Entropy, Information, Computing, H. S. Leff and A. F. Rex, Editors, Princeton University Press, Princeton, NJ (1990). ISBN 0-691-08727-X
• Шеннон К. Работы по теории информации и кибернетике. — М.: Изд. иностр. лит., 1963. — 830 с.
• Колмогоров А. Н. Три подхода к определению понятия «Количество информации» Новое в жизни, науке, технике. Сер. «Математика, кибернетика», N1, 1991, С.24-29. Перепечатка из «Проблемы передачи информации», N1, 1965, С.1-7.
• MacKay, David. Information Theory, Inference, and Learning Algorithms. — Cambridge University Press, 2003. — ISBN 9780521642989.

Ссылки

• Теория информации // Энциклопедия «Кругосвет».
• Норберт Винер «Кибернетика или Управление и связь в животном и машине»
• К. Шеннон, «Бандвагон»
• Важные публикации в теории информации (англ.)
• Традиционные подходы к количественному определению информации
• Синергетическая теория информации
• Холево А. С. Введение в квантовую теорию информации
• compression.ru