Logo Home   >>   10 проблем Теории Информации

10 проблем Теории Информации

Всякое изменение тела, будь то болезнь или здоровье, сводится к перемещению веществ в пространстве… но демоны не могут произвести этого движения, так как это доступно только богу. Отсюда ясно, что демоны не могут произвести никакого, по крайней мере фактического телесного изменения, и что в силу этого, подобные превращения должны быть приписаны какой-либо тайной причине.

© Крамер, Генрих и Шпренгер, Якоб "Молот ведьм", 1486


Со времени пионерных публикаций Норберта Винера и Клода Шеннона прошло более 60 лет. Продолжающаяся неопределенность основных понятий Теории Информации не может не вызывать беспокойства. Упущение, возможно, казавшееся неважным по условиям военного времени, ныне выглядит недопустимым "белым пятном" на карте достаточно развитой в других отношениях теории.

Различными авторами было предпринято немало попыток дать толкование понятию "Информация", но уже сама их многочисленность и часто - противоречивость, свидетельствует о все еще продолжающемся неблагополучии в этой области.


Краткий очерк нескольких смутных мест классической Теории Информации


  1. Неопределенность предмета

    Что есть информация? Этот вопрос просто игнорируется. Есть ли еще другая теория со столь же невнятной областью исследования?

    Не существует не только общепринятого, но даже просто внятного объяснения понятия "Информация". Сходу, можно насчитать около полудюжины различных определений, тогда как авторы некоторых тематических обзоров насчитывают их несколько десятков.

    Одни, например, утверждают, что информация - это неотъемлемое свойство материи, тогда как другие объявляют материальной саму информацию (и даже приписывают ей свойства плоской волны и квадратичный закон убывания). Третьи признают информацию свойством только живой природы, четвертые рассматривают ее лишь в процессе достижения цели (по сути, "заметая мусор под коврик"), пятые заняты поиском поправочных коэффициентов в формулах, шестые отождествляют информацию и термодинамическую энтропию итд.

    Одно уже обилие противоречивых определений свидетельствует, что ни одно из них не является достаточно обоснованным.

  2. Вводящая в заблуждение терминология

    Точно так же, как не существует "сжатия" данных, не существует и "обмена" информацией.

    Все известные процессы обмена являются процессами обмена веществом и/или энергией. Для них существуют законы сохранения. Иными словами, это процессы перемещения чего-либо.

    Информация, очевидно, неперемещаема. Она копируется. С оригинала может быть сделано неограниченное число копий. Законы сохранения не действуют. Одно это ставит крест на всех попытках "материализации" информации.

    Более того, все чем можно "обменяться", не является информацией "по определению", так как не обладает свойством "бесконечной воспроизводимости".

    Кроме того, информации неправомерно приписываются характеристики обобщенного заряда (заряд - это объект, который может быть перемещен из одной точки в другую), тогда как по своим свойствам она может быть только обобщенным потенциалом (потенциал - это разность, измеряемая между двумя точками).

    Наконец, в отличие от реальных процессов обмена, "обмен" информацией не может быть самопроизвольным и, обязательно, требует работы третьих сил.

    И еще одно замечание.

    Все известные процессы обмена происходят по принципу "от большего - к меньшему".

    К информации это, по-видимому, не относится: дезинформация распространяется столь же легко и непринужденно, как и достоверные сведения.

  3. Скрытое использование разделяемой модели

    Приемник обязан быть осведомлен о характеристиках источника. Никакая коммуникация невозможна без использования общей для участников информации (разделяемой модели). Такой, например, как использование единого языка и/или ключа шифрования при переписке.

    Между тем, степень близости, то есть взаимная осведомленность сторон (общее алго шифрования, например) вообще не учитывается в подсчетах количества информации.

    Понятие "количество информации", очевидно, имеет смысл только в данном классе процессов коммуникации с заданными участниками и разделяемой ими моделью (включающей задание алфавита), но это обстоятельство никак не учитывается и не оговаривается.

    Более точно, предложенное К. Шенноном определение количества информации имеет физический смысл ошибки предсказания ("снятая неопределенность") в следящих системах с отрицательной обратной связью. Это замечательно для систем управления зенитным огнем, например (которыми занимался Н. Винер), но совершенно не исчерпывает всех возможных моделей поведения.

    Используя электрическую аналогию, можно сказать, что понятие "количество информации" описывает поведение дифференцирующей цепи и, разумеется, непригодно для всех других классов схем.

  4. Существование коммуникации

    Эта проблема вытекает из предыдущей и прямо связана с (не)использованием разделяемой модели.

    В Теории Информации существование коммуникации, фактически, подменено возможностью передачи сигнала. Однако, потенциальная возможность коммуникации, очевидно, не равнозначна ее действительному осуществлению.

    Рассмотрим три экстремальных случая:

    1. Наихудший: Два взаимодействующих субъекта абсолютно различны.

      Языковый барьер, культурный барьер... какой угодно барьер. Разделяемой модели не существует. Абсолютная логическая изоляция. Коммуникация невозможна.

      "Потому говорю им притчами, что они видя не видят, и слыша не слышат, и не разумеют"

      Мф. 13:13

    2. Наилучший: Два взаимодействующих субъекта идентичны.

      Если их состояния также идентичны, то просто не существует информации, которой они могли бы обменяться - также, как невозможен теплообмен, например, между двумя телами равной температуры. Они находятся "в информационном равновесии".

    3. Извращенный: Дезинформация.

      Разделяемая модель на самом деле не является таковой: субъекты используют различные модели, но сообщения, которыми они обмениваются, к несчастью, являются корректными в каждой из них.

      Один из излюбленных сюжетов классической литературы: "Обманутый муж всегда узнает последним". Сюда же вписывается любая другая схема (само)обмана от прямого мошенничества до добросовестного заблуждения.

      Вся классическая цепочка Теории Информации - от источника до приемника - функционирует ОК, но результат фатален для жертвы.

    Из сказанного следует, что "сообщения" (на которых сосредоточено все внимание Теории Информации), на самом деле, незначительная часть полного процесса коммуникации. Более того, любая кибернетическая система с достаточным усилением в контуре отрицательной обратной связи (следящая система) находится в режиме виртуального отсутствия сигнала, виртуального отсутствия сообщений, виртуального отсутствия информации.

  5. Асимметрия процесса коммуникации

    Общепринято (исключая разве что квантовую механику) пренебрегать обратным влиянием одной из взаимодействующих сторон. Информационная среда полагается анизотропной, система координат - выделенной, а информация - распространяющейся исключительно от источника к приемнику. Введение петли обратной связи в кибернетике все еще не решает проблемы, закрепляя ведущую роль регулятора по отношению к управляемому объекту.

    Вводимая таким образом асимметрия неестественна, не имеет под собой физических оснований, затемняет предмет исследования и искусственно отделяет методы Теории Информации от развитого аппарата других технических дисциплин. Общая теория не должна базироваться на частных случаях.

  6. Неинвариантность информации

    Пусть сообщение представлено некоторым набором кодов (символами данного алфавита). Будем рассматривать эти символы алфавита как базис некоторой системы координат. Обратимое перекодирование (замена алфавита), очевидно, не затрагивает информационного содержания сообщения: исходное и перекодированное сообщения изоморфны. Переход от одной системы координат к другой выглядит как деформация сообщения, которую можно описать в терминах Обобщенного сдвига и Обобщенного поворота.

    Например, пермутация координатных осей (скажем, перекодировка KOI8 - Win-1251), очевидно, является обобщенным поворотом, а деформацию, вызванную изменением размера кодов (скажем, замену кодов ASCII на коды Хаффмана), логично отождествить с обобщенным сдвигом.

    Обратимость перекодирования гарантирует невырожденность преобразования.

    Следовало бы ожидать, что некоторые важные ("энергетические") характеристики сообщения останутся инвариантными к замене базиса.

    Однако, к энтропии и всем ее производным это не относится.

    Рассмотрим, например, классическую пятизвенную последовательную информационную цепь из источника сообщения, компрессора, канала связи, декомпрессора и приемника сообщения.

    Пусть источник генерирует заведомо "сжимаемые" сообщения, которые без искажений доставляются приемнику.

    Используя формулы для расчета энтропии и устраненной "избыточности" в сжатом сообщении, находим, что компрессор систематически уничтожает информацию, а декомпрессор, наоборот, систематически ее генерирует, в точности компенсируя ее уничтожение компрессором. Причем, количество информации в последовательной цепи пульсирует по мере ее прохождения через различные блоки, и минимально именно в канале связи.

    С другой стороны, полагая что информационное содержание сообщения инвариантно к используемой системе кодирования, находим, что компресссор добавляет к исходному сообщению избыточную информацию, необходимую для декодера, а декомпрессор, в свою очередь, восстанавливает исходное сообщение и уничтожает эту избыточную информацию. Таким образом, логично, количество информации максимально именно в канале связи, причем, она не исчезает в никуда и не возникает из ниоткуда, как этого требует классическая теория.

  7. Нерелятивистская форма записи основных уравнений

    В сушности, это продолжение предыдущего пункта.

    Изучая движения (преобразования), Физика и Математика в первую очередь, интересуются их инвариантами. По большому счету, все сводится к Законам Сохранения и способам комбинации. Странным образом, претендуя на количественные оценки, Теория Информации вообще не знакома ни с понятием инварианта, ни с инвариантной формой записи. Формула Шеннона для энтропии, например, выписывается для случайной координатной системы, а ее пульсации при смене базиса объясняются специально для этого придуманной "избыточностью". Это так же нелепо, как если бы в механике начало отсчета помещали не в центр масс системы, а привязывали к координатам порхающей бабочки.

    На самом деле, шенноновская энтропия имеет смысл удельной (на бит кода) мощности и, тем самым, инвариантом любых преобразований должна быть мгновенная мощность сообщения (произведение битового размера на энтропию ср. с "Постулатом Мощности" Г.Крона и "Рычагом Архимеда"). Повсеместное использование энтропии, взамен реального инварианта, следует признать историческим курьезом.

  8. Непригодность энтропии в качестве меры Информации

    Введенная Р. Хартли метрика (1928), явно описывает передачу сообщения как последовательность элементарных равновозможных выборов из заданного конечного набора (алфавита). Общепринято, что метрика К. Шеннона (1948) является обобщением метрики Хартли на случай разновероятных выборов. Таким образом, сообщение можно трактовать либо как уточняющую последовательность выборов в полном пространстве состояний (оригинальный подход Хартли), либо (равноценно) как последовательное изменение состояния источника (подход, обычно используемый в технике связи). В любом случае, пространство состояний, очевидно, анизотропно. В первой модели из-за анизотропии самого дерева выборов, во второй - из-за причинно-следственных связей.

    Энтропия, однако, нечувствительна к пермутациям символов сообщения. Анаграммы, такие как "МАРС - СРАМ", например, содержат одинаковое количество информации по Шеннону, что, очевидно, не согласуется с анизотропией самого сообщения.

    Более того, признание анизотропии сообщения означает, что никакая изотропная характеристика не может служить его метрикой (оценкой количества информации). В частности, "энтропийный предел" Шеннона описывает именно изотропное пространство.

    Наконец, энтропия непригодна для описания сообщений неполного ранга (с пропущенными буквами) - т.н., "проблема нулевой частоты". Например, в четырех символьном алфавите abcd, невозможно вычислить энтропию для сообщения aabc.

  9. Одномерность

    Кажется, нет другой дисциплины, кроме, может быть, арифметики, которая так строго ограничивала бы себя одномерным случаем. Несомненно, мы чувствуем, что игра идет на информационном поле - информация оценивается и сравнивается, складывается и вычитается, модулируется и интерферирует, имеет ощутимый градиент, свои "сверхновые" и свои "черные дыры". Теория информации предпочитает не замечать всего этого, ограничиваясь едва ли не телеграфной связью по длинным линиям с существенно одним измерением и, подобно Митрофанушке, упорно повторяет "арифметические зады". Понятий "разветвленная информационная цепь" или "информационный волновой процесс" для нее просто не существует.

  10. Квантовый характер энтропии

    Рассматривая энтропию в ее изначальном, по Хартли, смысле - как высоту дерева выбора, нельзя не видеть, что она может принимать только дискретные значения, независимо от расчетных значений логарифмов. Независимо от сбалансированности дерева, его высота всегда натуральное число. Таким образом, единичное изменение высоты дерева выбора при перестройке структуры системы следует трактовать как переход на соседнюю орбиту с поглощением (или излучением) одного кванта.


© Gazlan 2009-2014 * gazlan@yandex.ru