Logo Home   >>   Старый новый взгляд на природу Информации



Старый новый взгляд на природу Информации

Abstract

Предложено рассматривать Информационные Процессы (модель взаимодействия систем, игнорирующая обмен массой/энергией), как частный случай задач синхронизации со слабой (стремящейся к нулю) связью. Дана неожиданная интерпретация взглядов К. Шеннона на передачу сообщений.

Старый новый взгляд на природу Информации

Размышления о природе Информации продолжаются с тех пор, как это слово перешло из языка теологов в жаргон инженеров. Может показаться неожиданным, но за почти семьдесят лет развития (считая от пионерных работ Клода Шеннона) и хорошо разработанный математический аппарат, до сих пор не существует общепринятого представления о том, что есть Информация. Это порождает многочисленные споры. Трудно указать другую дисциплину, предмет которой был бы столь же неясен. В настоящее время, природа Информации предмет бесчисленных философских спекуляций. Не существует ни общепринятой, ни даже правдоподобной точки зрения на природу Информации.

Два основных конфликтующих направления расходятся, считать ли Информацию свойством, изначально присущим материальному физическому агенту (чему пока доказательств не найдено), либо полагать ее идеальной величиной, формальным параметром, переменной в уравнении. В технических дисциплинах неявно придерживаются второй точки зрения, свободно оперируя "количеством информации", также, как это, например, делается с "мнимыми" числами.

Надо сказать, что сами творцы кибернетики были очень осторожны в определениях, предпочитая обозначить границы того, чем Информация не является:

"Информация есть информация, а не материя и не энергия."

Н. Винер. "Кибернетика", 1948

"Информация - это не вещь"

У. Эшби. "Введение в кибернетику", 1958

и там же:

"Всякая попытка трактовать информацию как вещь, которая может содержаться в другой вещи, обычно ведет к трудным "проблемам", которые никогда не должны были бы возникать"

Информационным процессом будем называть такое взаимодействие систем, в котором заведомо отказываются от учета обмена массой/энергией, а изменения поведения приписываются "передаче информации". Информационный процесс - это всегда "безэнергетический" процесс.

Информационный процесс (процесс коммуникации) - упрощенная модель реального физического процесса, связанного с обменом массой/энергией. Если "энергетикой" процесса можно пренебречь - не потому, что обмен незначителен, а поскольку, его учет ничего не прибавляет к сути коммуникации, то такая модель является Информационным процессом.

О коммуникации стоит сказать отдельно.

Механика (условно) и Кибернетика по-разному смотрят на мир.

Механика изучает Силы, приложенные к объекту. Под действием Сил он деформируется. Эта деформация рассматривается как реакция на воздействие, уравновешивающая его. В момент равновесия, сумма всех сил в узлах и по контурам равна нулю - два закона Кирхгофа. Таким образом, Механика основана на знании "анатомии" объекта, его "скелета".

Кибернетика вовсе не интересуется внутренним устройством объекта и игнорирует Силы. Подобно тому, как в средние века все несчастья приписывались проискам демонов, Кибернетика приписывает реакцию объекта действию фиктивного агента - Сигналу. В кибернетической модели объект получает входной сигнал и реагирует выходным сигналом, без всякого учета энергетики процесса. Там, где Механика изучает равновесие Сил, Кибернетика - обмен сигналами. Обмен Сигналами - это и есть Коммуникация.

Коммуникация - способ построения фиктивной модели взаимодействия (с акцентом на существенные аспекты) поверх реального физического процесса.

Если процесс может быть описан несколькими различными моделями (неважно, корректными или нет), обе стороны должны разделять ту же самую функционально идентичную модель.

Преимущество "кибернетической" модели - в выделении значимых связей при игнорировании деталей реализации, недостаток - полная "нефизичность". Кибернетика лишена возможности установить осуществимость модели и реальные силы, приводящие ее в движение.

Как правило, инженеры имеют дело с сильными взаимодействиями: машины и механизмы, высоконагруженные конструкции, мощные энергосети или иные распределительные системы, при расчете которых, в первую очередь, важен учет потоков массы/энергии. По контрасту, в Информационных процессах, перенос массы/энергии не учитывается вовсе.

Игнорируя внутреннее устройство и энергетику процесса, кибернетическая модель представляет объект "черным ящиком", для которого известен только набор входных и выходных сигналов. Взамен рассмотрения потоков энергии, такая модель сосредоточивает внимание на "потоке управления".

Пусть сигнал о победе в сражении может быть подан любым из трех способов (или их комбинацией): выстрелом из стоящей на возвышении пушки, пуском красной ракеты или (в ночное время) костром на вершине холма. Энергетические затраты во всех случаях будут различны, но смысл заранее обусловленного сигнала - одинаков.

Более формально, Информационный процесс требует двух идентичных моделей (разделяемая модель) у Источника и Приемника, начальное состояние которых известно и идентично (тезаурус) и сигнала, позволяющего устранить возможное рассогласование (сообщение, синхропосылка, синхросигнал).

Понятие разделяемой модели неявно присутствует в любой модели коммуникации и означает, что стороны заранее договариваются об используемом алфавите, языке текста, его грамматике и любых иных подразумеваемых соглашениях ("культурный код", этикетные нормы и т.п.). Одна из проблем любого иностранца - незнание порядка и обычая, неявно разделяемых членами общины. Все замкнутые коллективы (близнецы, супруги, зимовщики) непременно создают свой мини-язык и набор мемов, известных только им и упрощающий коммуникацию внутри общины ("понимают друг друга с полуслова").

В классической теории, синхросигналу приписывается некоторая числовая величина ("количество информации"), тем большая, чем выше расхождение между моделями. Если состояния моделей оказываются идентичны, говорят, что сигнал не несет никакой (новой) информации. По Шеннону, синхросигнал имеет смысл ошибки прогноза.

Удобной моделью коммуникации может служить игра в шахматы по переписке. Игроки не видят друг друга, у каждого своя собственная шахматная доска и они поочередно обмениваются только сделанными ходами. Очевидно, что само устройство шахматной доски, набор фигур, стартовая позиция и свод правил игры образуют тезаурус (константную часть), а набор ходов - синхросигналы (переменную часть) полного процесса коммуникации.

Игроки разделяют (совместно используют) модель шахматной доски и правила игры. Неважно, как и из чего сделаны фигуры, сам материал доски, ее цвет и размеры. Неважно, как именно передаются ходы - голубиной почтой или электрическим телеграфом. Никакие физические соображения не имеют отношения к игре, пока она ведется корректно.

Синхронизация начальных состояний моделей (игроки ставят фигуры в стартовую позицию) является обязательным общим условием любой коммуникации: шпионы сверяют часы; юристы уточняют термины; изучающий язык должен усвоить фонетику и грамматику; весы перед взвешиванием выводят "в нуль"; спортсмены занимают места на старте; секретные агенты договариваются о ключе и шифре и т.д.

Вопреки устоявшемуся словосочетанию "обмен информацией", Информация не переносится (не обменивается). Информация неперемещаема и может быть только скопирована. Чтение книги не уничтожает уже прочитанный текст. Ксерокопия не влияет на оригинал. Если физические предметы (например, деньги) являются предметом обмена и в каждый данный момент имеют только одного владельца, информация может быть разделена между произвольным количеством лиц так, что каждый будет иметь свою собственную точную копию.

По меткому замечанию, приписываемому Бернарду Шоу ("Парадокс Шоу"):

"Если у вас есть яблоко и у меня есть яблоко, и мы обменяемся этими яблоками, то у каждого из нас будет по яблоку. Но если у вас есть идея и у меня есть идея, и мы обменяемся этими идеями, то у каждого из нас будет по две идеи."

Справедливости ради, словари утверждают, что Б. Шоу никогда не произносил этих слов и, на самом деле, изречение принадлежит Charles Franklin Brannan. Но, согласно принципу Арнольда: "Если какое-либо понятие имеет персональное имя, то это - не имя первооткрывателя".

Основываясь на "Парадоксе Шоу", как на необходимом и достаточном условии, можно испытать и отвергнуть любую предъявляемую сущность, претендующую быть Информацией, если она не обладает свойством неперемещаемости и/или не может быть скопирована.

Опираясь на точно установленные свойства Информации, следует подбирать модель, описывающую ее поведение. Правильная модель должна не только не противоречить уже известным сведениям о природе Информации, но и допускать проверяемые следствия. Иными словами, модель должна обладать предсказательной силой.

Современная наука располагает богатым набором моделей, в том числе умозрительных, не имеющих реальных физических прототипов. Выглядит немалым соблазном вооружиться подходящей внутренне непротиворечивой моделью (или, даже, создать собственную). И в самом деле, в многочисленных статьях и книгах, посвященных природе Информации, можно найти немало таких примеров, не подкрепленных никаким экспериментом.

По счастью, существует и иной, более прозаический, путь: обратиться к опыту хорошо развитых технических дисциплин, предмет которых может служить аналогом в изучаемом вопросе.

Такой технической дисциплиной является Теория Синхронизации, изучающая взаимодействие функционально идентичных систем.

Теория Синхронизации рассматривает с единой точки зрения, с использованием того же самого математического аппарата, как очень сильные, так и очень слабые взаимодействия систем (при стремящейся к нулю степени связи) с идентичной или функционально идентичной структурой.

Функциональная идентичность означает, что обе взаимодействующие системы могут быть описаны той же самой математической моделью (независимо от их реальной физической природы), и тем же самым набором параметров этой модели, частично совпадающих по величине ("ключевые параметры"). Например, когда радиоприемник настраивается на частоту передающей радиостанции, его размеры и мощность несущественны, добротность колебательного контура не обязана совпадать с добротностью колебательного контура радиостанции, но их собственные частоты должны иметь то же самое значение.

С функциональной идентичностью связан один забавный аспект - подлинность, скажем, произведений искусства, Кажется, что если даже признанные эксперты не в состоянии отличить фальшивку от оригинала, и подделка устанавливается только, например, радиоуглеродным анализом, их художественная ценность, потребительские качества, находятся на одном уровне. Тем не менее, рыночная цена весьма зависит от сертификата подлинности. Иными словами, на самом деле, покупатель платит не за вещь, а за бренд.

Теория Синхронизации - относительно молода, и возникла даже позже, чем Теория Информации. Несмотря на то, что первые наблюдения были сделаны еще во второй половине 17 века Христианом Гюйгенсом, фактически, начало этой дисциплине было положено работами отечественного исследователя И.И. Блехмана, предложившего точные математические методы расчета взаимодействия динамических систем. В настоящее время, Теория Синхронизации - хорошо развитая область прикладной математики, используемая для изучения и расчета как технических систем, так и природных явлений.

Вот как в статье И. Блехмана "Явления синхронизации в природе и в технике" описывается замечательное наблюдение Гюйгенса, ("феномен Гюйгенса"):

"По-видимому, первое наблюдение и описание частного случая синхронизации - взаимной синхронизации маятниковых часов - принадлежит Христиану Гюйгенсу, который еще в начале второй половины семнадцатого столетия обнаружил, что пара часов, ходивших по-разному, самосинхронизировалась, когда их прикрепляли к легкой балке вместо стены. В одном из своих мемуаров Гюйгенс следующим образом описывает сделанное им во время одного из плаваний наблюдение.

"Маятник этих часов имел длину 9 дюймов и груз полфунта. Механизм приводился в движение гирями, заключенными в ящик вместе с механизмом. Длина ящика была 4 фута. Внизу он был отягчен по крайней мере 100 фунтами свинца, чтобы весь механизм возможно лучше сохранял на судне вертикальное положение. С этими часами было сделано следующее чрезвычайно интересное наблюдение. Двое таких часов висели на одной и той же балке, покоящейся на двух опорах. Оба маятника двигались всегда в противоположные стороны, и колебания так точно совпадали, что никогда ни насколько не расходились. Тикание обоих часов было слышно в одно и то же мгновение. Если искусственно нарушалось это совпадение, то оно само восстанавливалось в короткое время. Сначала я был поражен этим странным явлением, но, наконец, после внимательного исследования нашел, что причина лежит в незаметном движении самой балки. Колебания маятника сообщают некоторое движение и самим часам, как бы тяжелы они не были. А это движение передается балке, и если маятники сами не двигались в противоположных направлениях, то теперь это произойдет с необходимостью, и только тогда движение балки прекратится. Но эта причина не была бы достаточно эффективна, если бы ход обоих часов не был бы с самого начала очень однороден и согласован между собой".

Взаимодействие - это всегда процесс обмена массой/энергией. Никаких других взаимодействий в природе нет. Но Теория Синхронизации изучает лишь те случаи, когда взаимодействующие системы идентичны или функционально идентичны.

Синхронизируемые системы не обязаны быть идентичными, достаточно идентичности разделяемых моделей. Два гармонических осциллятора с той же самой собственной частотой колебаний функционально идентичны, даже если они имеют различную физическую природу (скажем, электронный тактовый генератор с кварцевым резонатором и бронзовый балансир электромеханических часов), звук органной трубы может приводить в движение стальной камертон, мальчик устроен совсем не так, как раскачиваемые им качели.

Синхронизация - явление, повсеместно распространенное и почти всегда его влияние следует учитывать. Например, в 1905 г. под копытами лошадей эскадрона Конно-егерского полка в Санкт-Петербурге рухнул Египетский мост. Этот случай вошел в учебники физики, в главу резонанс, и в армейский cтроевой устав - при заходе на мост подается команда "идти не в ногу". А при включении генератора электростанции в общую энергосеть, его, наоборот, предварительно вводят в синхронизм.

Физически, завершение процесса синхронизации означает, что системы приходят в устойчивое состояние с экстремальным значением энергии. При этом между частями систем устанавливаются строго определенные частотные и фазовые соотношения. Такое состояние называется резонансом. Например, резонансу планет мы обязаны тем, что Луна всегда обращена к нам одной стороной, а периоды обращения планет солнечной системы соотносятся как небольшие целые числа.

Различают случаи самосинхронизации (аплодисменты, переходящие в овацию), когда связанные системы близки по мощности и их влияние взаимно и вынужденной синхронизации (мальчик раскачивает качели) - когда мощность одной из систем значительно превосходит другую.

Синхронизация двух систем, в предположении, что обменом массой/энергией можно пренебречь, совпадает с моделью Информационного процесса. Более точно, Информационный процесс можно рассматривать как частный ("безэнергетический") случай синхронизации систем.

Информационный процесс, как он представлен на диаграмме Шеннона, отвечает случаю вынужденной синхронизации.

Идентичность функциональных моделей - недостаточное условие синхронизации. Синхронизация должна быть не только потенциально возможна, но и физически реализуема.

Фактически, при рассмотрении существующего Информационного Процесса мы уже заранее знаем, что он был реализован, тем не менее этот аспект - единственный, где невозможно оставаться только в рамках Теории Информации, и обойтись без привлечения "энергетических" соображений. Когда струя воздуха, продуваемая над горлышком кувшина заставляет его звучать, очевидно, что энергии струи хватило на компенсацию всех потерь. Это необходимое условие реализации Информационного Процесса (помимо идентичности функциональных моделей и наличия связи) - затраты третьих сил должны превышать потери. Иными словами, это условие автогенерации. Если система способна к автогенерации, при благоприятных условиях она может быть синхронизирована с другим генератором. Выявление таких условий и есть предмет Теории Синхронизации.

Для понимания автогенерации обратимся к популярному математическому объекту - Фракталу. Обычно, главным свойством фрактала называют самоподобие. За счет процедуры клонирования (возможно с масштабированием, пермутацией или кроссмутацией - для мультифрактала, или иного набора преобразований) фрактал состоит из бесконечного числа клонов самого себя. Объединив понятие фрактала с работой третьих сил по клонированию, получаем замкнутую систему с обратной связью, выход которой бесконечно поступает на ее собственный вход.

Автогенерация отвечает частному случаю, когда усиление в петле обратной связи превышает потери. Противоположная ситуация создает затухающие колебания, пограничная - стационарный режим. Данная модель не накладывает ограничений на период или форму сигнала. Единственное условие - бесконечное воспроизведение самого себя. От сигнала не требуется даже быть периодическим. Фактически, это модель множества хорошо известных процессов, включая процесс Эволюции.

В такой (кибернетической) трактовке, фрактал есть ни что иное, как собственная функция системы с обратной связью.

Классическая пятизвенная диаграмма Клода Шеннона описывает поток информации от Источника к Приемнику через два Преобразующих Устройства (соответственно, Кодер и Декодер) и находящийся между ними Канал Связи (возможно, с помехами). Наличие помех сейчас неважно и далее не рассматривается, а Преобразующие Устройства, для краткости, объединим названием Трансформаторы.

Диаграмма Шеннона замечательна своей универсальностью: благодаря Трансформаторам, входной и выходной сигналы могут иметь различную физическую природу. Единственное, что постулируется - точное воспроизведение на выходе входного сообщения.

Вот, что пишет об этом К. Шеннон в своей статье:

"Основная задача связи состоит в точном или приближенном воспроизведении в некотором месте сообщения, выбранного для передачи в другом месте. Часто сообщения имеют значения, т.е. относятся к некоторой системе, имеющей определенную физическую или умозрительную сущность, или находятся в соответствии с некоторой системой. Эти семантические аспекты связи не имеют отношения к технической стороне вопроса.

К. Шеннон. "Математическая теория связи", 1948

Описанное К. Шенноном устройство (такое, как электрический телеграф, например) представляет из себя Идеальный Повторитель, воспроизводящий на выходе входной сигнал за счет работы третьих сил.

Если теперь обратиться к механическим аналогам Идеального Повторителя, то прежде всего, следует рассмотреть рычажные весы. Вкупе с Весовщиком (работа третьих сил), рычажные весы представляют из себя механический Идеальный Повторитель, и в точности описываются диаграммой Шеннона.

Груз на одной чаше весов и разновесы на другой, могут иметь различную физическую природу и не обязаны совпадать ни по форме, ни по количеству. Единственное качество, которое эквивалентируется - это вес. Килограмм сахарного песка, например, может быть уравновешен (эквивалентирован) набором чугунных гирь или килограммом золотого песка, или чем угодно еще, но имеющим тот же вес.

Таким образом, в рычажных весах представлены все без исключения элементы диаграммы Шеннона: Источник и Приемник (чаши весов), Канал Связи (коромысло рычажных весов) и (неявно) входной и выходной Трансформаторы, обеспечивающие эквивалентирование разнородных грузов.

В частном случае, когда Источник и Приемник идентичны, происходит "зеркалирование" Источника Приемником. В общем случае, следует говорить только о синхронизации состояний моделей Источник и Приемника.

Пусть, например, килограмм сахарного песка уравновешен на рычажных весах килограммом золотого песка. Разделяемая модель имеет единственный параметр - вес. Физические и потребительские свойства товаров совершенно различны. Золотой песок не следует сыпать в чай, а сахарный - нести к ювелиру. Но с точки зрения веса, они эквивалентны. Вес на одной чаше весов воспроизводит вес на другой чаше весов.

Информация (весы уравновешены, вес определен) является именно результатом процесса взвешивания (Весовщик добавляет и снимает гири). Это общее положение: в модели синхронизируемых систем, Информация (как числовое значение) всегда результат процесса Измерения, не существует вне его рамок, и не имеет смысла без привязки к измерению.

Измерения могут быть прямыми и косвенными. Прямое измерение сводится к непосредственному сравнению двух объектов по заданному критерию. Геометрически, это наложение двух фигур одна на другую. Прямое измерение всегда конкурентно: команды перетягивают канат на себя, в зале суда на весах Фемиды взвешивается правота спорящих, на дуэли побеждает более ловкий и т.п. Косвенное измерение требует попарного сравнения двух объектов с третьим. При этом очень важно проверить соблюдение условия транзитивности.

Математически, транзитивность означает, что элементы множества могут быть однозначно упорядочены по некоторому качеству (мере). Например, если, A > B и B > C, то A > C. Скажем, для цветов радуги точно определен порядок, в котором они расположены. Числа натурального ряда следуют одно за другим. Элементы таблицы Менделеева упорядочены по их атомным весам.

В реальности, это условие (алфавитная упорядоченность) выполняется не всегда. Например, если боксер A всегда побеждает боксера B, а боксер B всегда побеждает боксера C, то необязательно, что A победит C. Таким образом, при использовании косвенных измерений очень важна предварительная проверка на выполнение условия транзитивности. В остальном, оба вида измерений равноценны.

Измерение клонирует информацию, оставляя сам измеряемый объект неизменным. Это клонирование происходит за счет работы третьих сил. Портной, снимая мерку, не крадет у клиента талию, фотографирование цветка не срывает его с клумбы, докладчик, представившись, не теряет своего имени.

Неочевидно, но точное измерение всегда резонансное. В резонансных методах измерения это прямо следует из их природы, но измерение таких параметров, как размер или температура влечет такую же синхронизацию моделей - совмещением (например, фокусирование на резкость").

Использование модели означает, что сравниваемые системы не обязаны быть идентичными, а должны разделять только выбранные, важные для заданной цели (измерения) характерные качества.

Например, в экспериментах с бросанием монеты, существование Модели означает как предположение о свойствах объекта, так и ожидание определенного поведения. В опытах с бросанием монеты, понятие свойства предполагает "плоскую" монету, всегда выпадающую только лицевой (аверс) или обратной (реверс) стороной и никогда - на ребро. Предполагается, что рельеф лицевой и обратной сторон различен и различим. Предполагается, что подброшенная монета обязательно упадет, а не унесется со свистом в космическое пространство. Поведение предполагает случайность и равновероятность выпадения любой из сторон, и что различие рельефа аверса и реверса не оказывает влияния на исход опыта.

Модель не предполагает, что монета является подлинной, не имеет изъянов или имеет хождение. Модель не учитывает номинала монеты, ее вес, альбедо или электропроводность. Иными словами, Модель - это абстракция (существенных только для задающего вопрос) аспектов состояния и поведения объекта, не требующая ни реального существования объекта, ни фактического наличия у него данных свойств, ни даже совпадения реальных свойств объекта со свойствами модели.

Функциональная идентичность моделей не требует их физической идентичности.

Как пример функциональной идентичности можно привести синхронизацию часов по радиосигналу точного времени. "Ходики" с кукушкой и атомный эталон на изотопе цезия-133 внешне имеют немного общего, но оба разделяют ту же самую функциональную модель "часы, показывающее время с точностью до одной минуты". И в момент синхронизации состояние этих моделей (разделяемая модель) устанавливается идентичным.

Имеется специальная причина выделить Измерения из общего ряда синхронизируемых систем.

Часто, синхронизируемые системы не только функционально, но и физически идентичны (как, например, два одинаковых камертона). Но в случае измерений, измеритель всегда эквивалентируется фракталом: гири представлены набором разновесов, число записывается в системе счисления, сложный сигнал аппроксимируется рядом Фурье и т.п. При этом важно как самоподобие, так и бесконечная делимость фрактала, как меры.

Для установления синхронизации необходимо выполнение трех условий:

1. Наличие функционально идентичных связанных систем (игроки в шахматы разделяют общую шахматную доску и набор правил игры - разделяемая модель).

2. Разделяемые модели обоих участников изначально синхронизированы между собой ("сверим часы", выбор общего шифра и секретного пароля для переписки, согласование прав и обязанностей сторон в юридическом документе и т.п.).

3. Сам процесс синхронизации выполняется путем отсылки синхросигналов, извещающих об изменении состояния одной из сторон. (шахматисты обмениваются ходами).

Само по себе сообщение, как синхропосылка, лишено всякого смысла и обретает его только в рамках разделяемой модели и текущего контекста. Табуированные слова без потери смысла могут быть замены эвфемизмами. Перевод на другой язык сохраняет смысл текста, но безнадежно деформирует сообщение. Фраза "кушать подано" имеет тот же самый смысл независимо от того, кем из лакеев она сказана. Смысл идиом часто вовсе не связан с буквальным содержанием фразы (например, "собаку съел"). В жаргонах (таких, как "феня") многие понятия часто заменяются словами других языков, а термины искажаются без потери смысла.

Синхросигнал не имеет смысла вне контекста модели. Синхропосылка является только указанием на переход из одного известного состояния в другое (как в конечном автомате). Только в заданном контексте сообщение может приобрести смысл (или не иметь его вовсе). Если на бирже Сингапура вы играете по котировкам токийской биржи, результат, скорее всего, будет печален, как это случилось с Ником Лисоном, трейдером, разорившим старейший британский банк Barings (1995).

В литературе не раз обыгрывался сюжет, когда два человека, наблюдающие то же самое явление (тот же самый синхросигнал), используют различающиеся модели и приходят к различным выводам. Как пример, дуальные пары Шерлок Холмс и доктор Ватсон или Белый Человек и Чингачгук - Большой Змей.

Эту разницу моделей хорошо иллюстрирует следующий анекдот: Как отличить электрика от учителя геометрии? Попросить назвать антоним к слову "параллельно". Электрик скажет "последовательно", а учитель геометрии - "перпендикулярно".

Окончательно, под информацией понимается результат синхронизации состояний моделей связанных систем (как набор параметров, описывающих их положение в фазовом пространстве).

Предложенный подход - отождествление Информации с результатом синхронизации дает не только более внятное представление о природе Информации, но и может положить конец многочисленным философским спорам.

В заключение, нельзя обойти вниманием еще один вопрос, не имеющий непосредственного отношения к природе Информации - информационную энтропию.

Приступив к решению задачи Транспорта Информации, Шеннон неявно пришел к двухкомпонентной модели сообщения - несжимаемая (жидкая) фаза (энтропия) и сжимаемая (газовая) фаза (избыточность). Очевидно, при транспортировке можно устранить бесполезную сжимаемую фазу и оставить только несжимаемую часть. Это называется "сжатием" сообщений (эффективное кодирование). Термин "сжатие", полностью неверен, но широко устоялся и будет использован по историческим причинам.

Первооткрыватели редко бывают удачливы в названиях. Блестяще решив задачу Транспорта Сообщений (и заложив основы Математической Теории Связи), Клод Шеннон предложил оценку плотности текстового фрактала через парциальные частоты символов. Первоначально, он собирался назвать ее "Информация", но это слово показалось ему перегруженным. Потом - "Неопределенность". Но под влиянием Дж. фон Неймана он изменил свое решение.

Вот как передают эту историю Майрон Трибус и Эдвард МакИрвин в своей статье "Энергия и информация": "В беседе о введенной им мере неопределенности Шеннон сказал: "Меня больше всего беспокоило, как назвать эту величину. Я думал назвать ее "информацией", но это слово слишком перегружено, поэтому я решил остановиться на "неопределенности". Когда я обсуждал все это с Джоном фон Нейманом, тот предложил лучшую идею. Фон Нейман сказал мне: "Вам следует назвать ее энтропией по двум причинам. Во-первых, ваша функция неопределенности использовалась в статистической механике под этим названием, так что у нее уже есть имя. Во-вторых, и это важнее, никто не знает, что же такое эта энтропия на самом деле, поэтому в споре преимущество всегда будет на вашей стороне".

Удобно рассматривать информационную энтропию, как относительную концентрацию символов в сообщении. Если парциальные частоты всех символов равны (однородный текст) - представлены все символы алфавита и кратности всех символов совпадают, то результирующая концентрация (энтропия) максимальна и равна единице. Если текст неоднороден - представлены не все символы алфавита и/или кратности их различны, то результирующая концентрация (энтропия) ниже предельной.

Фактически, К. Шеннон оперировал такими параметрами как "насыпная (фрактальная) плотность" текста и "предельная плотность". "Утрамбовав" текст до предельной плотности можно получить существенный выигрыш в скорости и времени передачи сообщения.

Клод Шеннон предложил практический метод сжатия - код Шеннона. Почти одновременно, сходный метод был предложен Робертом Фано, а несколькими годами позднее, Давид Хаффман разработал более удачный алгоритм с доказанной оптимальностью, вытеснивший из употребления коды Шеннона-Фано.

Устоялось (ошибочное) понимание информационной энтропии сообщения, как "количества информации", содержащегося в нем. "Маркетинговый" термин "количество информации" породил множество спекуляций в нетехнических дисциплинах.

И хотя значение работы К. Шеннона далеко выходит за рамки проблем обработки текстов, его оценка никакого отношения к информации не имеет. Она связана только с представлением данного набора символов заданной системой кодов. Также, не имеет отношения к информации и колмогоровская оценка сложности (размер генератора текстового фрактала).

Используя термодинамическую аналогию, текстовое сообщение можно рассматривать, как аналог идеального газа в компрессоре (с упруго деформируемым текстовым сообщением в качестве рабочего тела).

Механическая тепловая машина может быть равноценно описана как в координатах (давление, объем), так и в двойственных к ним координатах (температура, термодинамическая энтропия). В отличие от механической тепловой машины, сжатие и растяжение сообщения происходит за счет работы третьих сил, но сам цикл сжатия полностью аналогичен циклу сжатия тепловой машины. Однако, в отличие от тепловой машины, которая может быть описана в двойственных координатах, для текстов, в данный момент, возможно описание только в координатах (размер, информационная энтропия), так как аналогов механических наблюдаемых параметров (давление, объем) для текстов пока не предложено.

Суть энтропийного кодирования основана на обычной для коммерческих текстов неоднородности: более частые символы представляются более короткими на письме кодами. Сама эта идея, вероятно, принадлежит Самуэлю Морзе, изобретателю кода Морзе.

Степень сжатия зависит от выбора системы кодов и характеристик самого текста. Полностью однородный текст принципиально несжимаем.

Однородным будем называть текст, содержащий все символы алфавита с той же самой кратностью. Любая пермутация однородного текста является однородным текстом и также несжимаема.

По сути, энтропийный кодер (реализуя идею Р. Хартли) выполняет роль трансформатора, согласующего характеристики текста и кода (согласование линии). Иными словами, речь идет о согласовании спектров символов сообщения и использованной системы кодов.

В теории, арифметический кодер обеспечивает предельный цикл сжатия (цикл Карно), а кодеры Шеннона, Фано и Хаффмана - близкие к ним (почти) предельные циклы для целочисленных кодов.

И последнее. Энтропию принято считать аддитивной величиной (мерой). Здание Теории Информации выстроено на постулате ее абсолютной аддитивности. На самом деле, имея физический смысл концентрации символов в сообщении, энтропии должны складываться по релятивистским формулам. Например, при сложении двух сигналов с единичной энтропией без увеличения размера сообщения (шифрование), результирующее сообщение не может иметь энтропию, большую единицы (концентрация не может превышать ста процентов - "энтропийный предел").

Summary

Информация, как числовая величина, всегда результат измерения и имеет смысл только в рамках выбранной модели.

Измерение есть частный случай синхронизации моделей, в котором измеряемый объект эквивалентируется фракталом. Существенно самоподобие и бесконечная делимость фрактала, как меры.

Фрактал - собственная функция систем с обратной связью (автогенератор). Условием синхронизации является идентичность моделей автогенераторов и энергетическая выгодность (экстремум энергии) связанных систем.

Информационная энтропия (фрактальная плотность) является удобной мерой расчета потребности в таре и пропускной способности в задачах транспорта фрактальных объектов.

Имея смысл относительной концентрации, информационные энтропии должны складываться по релятивистским формулам, так как суммарная энтропия не может превышать абсолютный предел.

Термодинамическая аналогия (цикл Карно) может быть использована для описания цикла сжатия текстовых сообщений ("эффективное кодирование").


© Gazlan, 2017 * gazlan@yandex.ru