Logo Home   >>   Рассуждения об Энтропии
Один мудрец взял пустой кувшин и наполнил его доверху небольшими камнями. Собрал своих учеников и задал им первый вопрос: "Скажите, уважаемые, полон ли мой кувшин?" На что те ответили: "Да, полон". Тогда мудрец взял полную банку с горохом и высыпал содержимое в кувшин с камнями. Горох занял свободное место между камнями. Задал мудрец второй вопрос: "Полон ли теперь мой кувшин?" Ученики вновь подтвердили, что полон. Тут мудрец взял коробку с песком и его тоже высыпал в кувшин. Песок просочился сквозь горох и камни и занял все свободное место и все закрыл. Еще раз спросил мудрец своих учеников, полон ли кувшин и снова услышал утвердительный ответ. Тогда достал мудрый человек кружку, полную воды и вылил ее в кувшин до последней капли.



Рассуждения об Энтропии


Одна популярная в научной среде история связана с происхождением термина "Энтропия". Вот как передают ее Майрон Трибус и Эдвард МакИрвин в своей статье "Энергия и информация" (Myron Tribus and Edward C. McIrvine "Energy and Information". Scientific American Volume 225, Number 3, September, 1971, pp. 179-188)

В беседе о введенной им мере неопределенности Шеннон сказал: "Меня больше всего беспокоило, как назвать эту величину. Я думал назвать ее "информацией", но это слово слишком перегружено, поэтому я решил остановиться на " неопределенности". Когда я обсуждал все это с Джоном фон Нейманом, тот предложил лучшую идею. Фон Нейман сказал мне: "Вам следует назвать ее энтропией по двум причинам. Во-первых, ваша функция неопределенности использовалась в статистической механике под этим названием, так что у нее уже есть имя. Во-вторых, и это важнее, никто не знает, что же такое эта энтропия на самом деле, поэтому в споре преимущество всегда будет на вашей стороне".

Н. Мартин, Дж. Ингленд "Математическая Теория Энтропии" М.: Мир, 1988


К сожалению, фон Нейман оказался прав в своем предсказании и "невнятность" понятия энтропии привела к чрезмерному и спекулятивному его использованию, особенно в нетехнических дисциплинах. В популярной литературе это слово стало употребляться едва ли не в роли магического заклинания, сродни "абракадабре" в жаргоне алхимиков.

Встречаются несходные взгляды на то, как именно следует определять энтропию и для чего ее использовать, так что ниже будет рассмотрена исключительно "классическая" (по Клоду Шеннону) информационная энтропия, в применении к равновесным системам.


Консервативные системы

Примером простейшей (с одной степенью свободы) системы является гармонический осциллятор. Неважно, как именно физически устроена равновесная система (гайка на нитке, грузик на пружинке, газ под поршнем, электрический колебательный контур или текстовое сообщение), значимыми являются только два ее свойства:

  • Траектория движения системы замкнута
  • Траектория движения системы имеет две экстремальные точки

Для маятника это верхняя и нижняя точки траектории, для кодируемого сообщения - предельные размеры при "сжатии" и "растяжении".

Заметим, что формулировка "системы с одной степенью свободы" будучи формально безупречной, фактически, может ввести в заблуждение. Возможно, о гармоническом осцилляторе следовало бы говорить как о "системе с двумя степенями свободы и одной связью", для различения с истинно одностепенными системами (такими, как поршень в цилиндре или короткозамкнутая катушка индуктивности). Используемый в настоящее время термин "системы с половинной степенью свободы" представляется физически неверным и методически некорректным.

Это различие существенно, потому что система с двумя степенями свободы содержит два разнородных аккумулирующих элемента, так что принципиально возможен обратимый полный обмен энергией между ними ("заряд-разряд"), недоступный в истинно одностепенных системах.

Для неконсервативных (релаксационных) систем также возможен цикл "заряд-разряд", но требуется принудительная коммутация с нагрузкой и вторым накопителем. Разнородность аккумуляторов (их циклы "заряд-разряд" находятся в квадратуре) устраняет потребность в принудительной коммутации и создает режим взаимной автокоммутации (автоколебаний).

В случае физического маятника, обмениваются кинетическая энергия инертной массы и потенциальная энергия гравитационного поля. Для электрического колебательного контура - кинетическая энергия, запасаемая в катушке индуктивности и потенциальная энергия конденсатора, для сжимаемого сообщения, неоднородность кратностей символов алфавита обменивается на неравномерность длин кодовых символов.

Наложение связи между накопителями устраняет одну из двух степеней свободы и позволяет перейти к описанию системы единственным (новым) параметром - углом отклонения от положения равновесия.

Движение равновесной системы с одной степенью свободы (деформация) может быть изображено замкнутой линией на плоскости двух обобщенных параметров p и d (фазовая плоскость). Например, для электрического колебательного контура, такими параметрами могут быть ток через катушку индуктивности и напряжение на ее зажимах.


Истинные системы с одной степенью свободы

Истиная система с одной степенью свободы - это аналог того, что в физике называют инерциальной системой (Людвиг Ланге, 1885). Предоставленная самой себе, в отсутствие внешних воздействий, такая (ньютоновская) система либо сохраняет состояние покоя, либо продолжает линейное равномерное движение.

Электрический аналог инерциальной системы - короткозамкнутая сверхпроводящая катушка, либо кондесатор с изолированными выводами. Механическим аналогом может служить весовая гиря, термодинамическим - термос.

Ранее утверждалось, что произвольная система описывается ровно двумя сопряженными параметрами по каждой из степенй свободы. Для истинных систем с одной степенью свободы, один из двух параметров фиксирован (в точности равен нулю). Так, для сверхпроводящей катушки равна нулю электродвижущая сила, а для изолированного конденсатора равен нулю ток разряда. Единственное движение, которое может совершать такая система, направлено вдоль оси координат. Если же зафиксировать и второй параметр (замкнуть выводы кондесатора, разомкнуть выводы катушки), то число степеней свободы станет равным нулю и никаких движений такая система совершать уже не сможет.

Истинная система со многими степенями свободы - это просто набор никак между собой не связанных одностепенных систем. Например, 8-разрядный байт (обычная единица адресации в компьютере) содержит восемь бит, каждый из которых независимо может быть установлен в 1 или сброшен в 0. Изменение состояния любого из битов никак не сказывается на остальных.

Простейшей системой со многими степенями свободы будет композиция двух систем с одной степенью свободы. Всего при этом возможны четыре варианта объединения в пары (на примере электрической цепи):

  • катушка - катушка
  • конденсатор - конденсатор
  • катушка - конденсатор
  • конденсатор - катушка

При этом оба компонента пары независимы (не связаны между собой).


Связанные системы с одной степенью свободы

Для связывания компонентов пары, необходимо сделать их зависимымми друг от друга. Процесс соединения / разъединения элементов называется коммутацией (tearing).

При этом различают две фазы: переходный процесс (выравнивание состояния компонент немедленно после пересоединения) и установившийся режим (состояние компонент после того, как выравнивание закончилось).

В оптической аналогии, сам момент коммутации можно рассматривать как преломление луча на границе раздела двух обобщенных систем: первичной (до коммутации) и вторичной (после коммутации).

Очевидным условием выполнения закона сохранения является неразрывность параметров p и d на границе раздела. В силу независимости этих параметров, условия неразрывности могут быть выписаны для них раздельно.

Для электрических систем это формулируется следующим образом:

  • Токи во всех катушках непосредственно перед коммутацией равны тем же токам сразу после нее.
  • Напряжения на всех конденсаторах непосредственно перед коммутацией равны тем же напряжениям сразу после нее.

Всего возможны два варианта соединения двухполюсников: последовательное и параллельное, но в случае разнородных элементов (катушка - конденсатор, конденсатор - катушка) они в точности эквивалентны, а в случае однородных элементов (катушка - катушка, конденсатор - конденсатор) в установившемся режиме с точностью до множителя эквивалентны системе с одной степенью свободы.

Таким образом, единственной системой с двумя степенями свободы и с одной связью является система из разнородных (дуальных) элементов. Для электрической цепи это означает, что изолированный конденсатор замыкается через катушку, а короткозамкнутая катушка размыкается через конденсатор.

Переходный процесс для однородных элементов сводится к выравниванию состояний до некоторого промежуточного значения: более нагретое тело отдает часть тепла менее нагретому, концентрация растворов выравнивается при смешивании, заряд перераспределяется между соединенными конденсаторами итд.

На примере системы двух тел с различной температурой, легко понять, что к точке равновесия они подходят с разных сторон: когда температура одного растет, другого - падает, и в точке встречи разность температур в точности равна нулю - наступает равновесие. Введя понятия емкости и потенциала, точку равновесия несложно найти, используя закон рычага Архимеда. Очевидно, это значение всегда лежит между значениями для исходных элементов.

Этот процесс можно рассматривать как "разряд" элемента с большим потенциалом на элемент с меньшим потенциалом. В процессе разряда, больший потенциал уменьшается, а меньший увеличивается, создавая "подпор", противодействующий разряду. В тот момент, когда потенциал подпора сравнивается с потециалом заряда, наступает равновесие.


Автокоммутация

Система, образовавшаяся после коммутации разнородных элементов, имеет только одну степень свободы (вторая степень свободы "погашена" связью), но переходный процесс для нее выглядит иначе.

В силу разнородности элементов, они не создают взаимного подпора. Например, в электрической схеме, катушка может полностью разрядиться на конденсатор, так как конденсатор заряжаясь не создает встречного тока для катушки индуктивности. Аналогично, конденсатор может полностью разрядиться на катушку индуктивности, так как катушка не создает встречного напряжения для конденсатора.

На самом деле, в силу законов коммутации (неразрывность луча при преломлении), ни ток в катушке, ни напряжение на конденсаторе не могут измениться скачком. Это можно трактовать как инерцию элементов (электрическую и магнитную). Их динамическое сопротивление меняется по мере заряда.

Таким образом, в отличие от схем с двумя однородными элементами, где из-за противотока точка встречи находилась между экстремумами, разнородные элементы могут независимо разряжаться друг на друга полностью, и эти два процесса разряда накладываются один на другой.

Если принять за начало отсчета момент, когда вся энергия системы сосредоточена в одном из элементов, то к моменту его полного разряда, вся энергия окажется сосредоточенной во втором элементе. Очевидно, обратный перезаряд будет зеркально симметричен и по его окончанию ситуация в точности повторит исходную.

Пусть, например, изначально вся энергия системы была сосредоточена в электрическом поле конденсатора. Это можно рассматривать как подключение источника напряжения к разряднику. Катушка обладает нулевым омическим сопротивлением и конденсатор разряжается на нее полностью. По окончанию разряда конденсатора, вся энергия системы окажется сосредоточенной в катушке. Аналогично, катушку можно рассматривать как источник тока. За счет сил магнитного поля, катушка будет пытаться скомпенсировать изменение тока в цепи, что приведет к перезаряду конденсатора. С точностью до знака, повторяется исходная ситуация, что можно рассматривать как автоматическую переполюсовку.

Если представить два разнородных накопителя как две ампулы песочных часов, то окажется, что они автоматически переворачиваются всякий раз, как только из верхней в нижнюю пересыплется последняя песчинка.

Фактически, установившегося режима в такой системе нет - он всегда переходный, и формальное решение показывает, что ему отвечает гармоническое колебание.


Дуализм систем

До сих пор при описании систем в терминах обобщенных параметров (p,d) намеренно избегался вопрос о том, какой из параметров считать аргументом, и какой - функцией. Из соображений симметрии, они равноправны и равноправными будут обе точки зрения. Два различных представления той же самой системы, отличаюшиеся только инверсией сопряженных координат, выбранных в качестве аргумента и функции, будем называть дуальными. В силу того, что в обоих представлениях рассматривается та же самая система, ее мощность остается той же самой при переходе от исходной системы координат к дуальной.

Простейшими примерами дуальных электрических схем служат пары: последовательное / параллельное соединение

и N-угольник / N-звезда. (На практике, чаще всего используются треугольник / трехлучевая звезда).

Необходимо заметить, что дуальны не только топология систем, но и составляющие их элементы. Для электрической цепи, импедансам одной ветви отвечают адмитансы другой. Иными словами, элементы дуальных цепей также обладают дуальными характеристиками. Возможны и автодуальные системы - имеющие тождественный вид при рассмотрении в любых координатах. Гармонический осциллятор относится к автодуальным схемам.


Четверка Карно

Понятие гармонической четверки восходит еще к Менелаю Александрийскому (ок. 100 г. н.э.). Обобщение теоремы Менелая, одной из классических теорем аффинной геометрии, принадлежит Лазару Карно, создателю проективной геометрии ("Этюд о теории трансверсалей", 1806).

Четверка Карно, как инвариант мощности абстрактного трансформатора, возникает всюду, где рассматриваются обратимые системы.

На примере гармонического осциллятора, можно видеть, что полный цикл состоит из четырех участков разряда (монотонных кривых) и четырех точек коммутации (каустик). Очевидно, при заданной форме движения, задание четырех каустик достаточно для полного описания системы (при этом, только три из них независимы). Вероятно, наиболее известной четырехтактной диаграммой является диаграмма тепловой машины Сади Карно, но в той же форме, она применима к описанию любой обратимой системы. Для математического маятника, например, двумя верхними точками коммутации являются максимальные уклонения от равновесия и двумя нижними - нижняя точка траектории, при проходе ее в ту и в другую сторону.

В теории цепей параметры произвольного линейного четырехполюсника устанавливаются по двум опытам - холостого хода и короткого замыкания (дающим две пары сопряженных параметров - ток-напряжение), теорема Найквиста задает удвоенную частоту дискретизации, достаточную для восстановления сигнала по его отсчетам.


Термодинамика инерциальных систем

Обычно, изложение физической дисциплины начинается со "Статики". Учение о теплоте не исключение, но, исторически, носит название "Термодинамика". Основные идеи о равновесии тепловых систем принадлежат старшему сыну Лазара Карно - Сади Карно. Формально, тепловая машина Карно - система из двух разнородных элементов (нагреватель и холодильник) и одной связью (рабочее тело). Потери вещества и энергии игнорируются (система консервативна). Таким образом, машина Карно представляет собой систему с одной степенью свободы и ее движения могут быть полностью отображены на плоскости двух параметров. Часто используются две наблюдаемые координаты - объем (V) и давление (P).

Поскольку тепловая машина Карно - всего лишь один из вариантов равновесной системы, не будем привязываться к частным координатам (V, P), а воспользуемся обобщенными параметрами Файрстоуна (шириной и высотой): продольным - W и поперечным - H. Координаты W и H ортогональны. Для машины Карно на плоскости (V, P) продольным параметром выступает объем и поперечным - давление. Для электрического колебательного контура, наблюдаемым продольным параметром служит ток катушки, а сопряженным наблюдаемым поперечным параметром - напряжение конденсатора.

Если максимально возможное изменение параметров происходит в диапазоне w = Wmin..Wmax и h = Hmin..Hmax, то любые движения системы оказываются вписанными в прямоугольник ABCD. Мировою линию ABCD будем называть максимальным циклом системы, а произведение обобщенных координат w*h - мгновенной мощностью. Очевидно, прямоугольник ABCD отвечает максимально возможной полной (за цикл) мощности системы.

Наблюдаемые параметры W и H удобны тем, что значения каустик A, B, C, D могут быть измерены непосредственно, но движения системы проще всего рассматривать относительно ее барицентра, поэтому перейдем к центрированной системе координат (p,d), и используем перенормировку, чтобы каустики A, B, C, D оказались в углах вписанного в окружность квадрата.

Непосредственно по диаграмме несложно понять, что мгновенная мощность p*d дважды за полуцикл достигает максимального по абсолютной величине значения. Если ввести понятие частоты (как величины, обратной периоду цикла), то, как легко видеть, колебания мгновенной мощности происходят с удвоенной частотой, при этом совершаемая системой за цикл работа тождественно равна нулю, а движение системы сводится к обратимому обмену энергией между ее разнородными элементами.

В силу ортогональности базиса, мгновенная мощность системы может быть разложена в сумму двух ортогональных компонент - продольной (горизонтальной) и поперечной (вертикальной), вычисляемых как косинус и синус радиус-вектора мгновенной мощности.

Оба параметра p и d синхронно меняются с той же самой скоростью (частотой). Формально, произведение p*d можно представить как сумму двух колебаний: медленного - с разностной (нулевой) частотой и быстрого - с суммарной (удвоенной) частотой. В обратимой системе, постоянная составляющая, отвечающая нулевой частоте (активная мощность), тождественно равна нулю.

В силу симметрии системы, для выяснения характера изменения реактивной мощности, достаточно рассмотреть только четверть полного цикла.

Из диаграммы видно, что в нормированной системе координат, участок мировой линии, по которой движется конец вектора R, является отрезком прямой с коэффициентом наклона -1 (отношения сторон 0A и 0B треугольника A0B). В оптической аналогии, это соответствует отражению от зеркальной стенки поворотной призмы.

При движении системы из A в B по линии AB реактивная мощность Q = w*h (площадь квадрата 0hRw) равна нулю на концах интервала (в каустиках A и B) и достигает максимума на его середине (при равенстве w и h).

***


Понятие меры

Для частного случая консервативной системы, постулируем следующие свойства:

  • Для произвольной консервативной системы с одной степенью свободы, можно указать два (сопряженных) параметра p и d таких, что движение системы будет полностью описываться траекторией в плоскости этих двух параметров (фазовая плоскость).

  • В любой точке траектории, произведение сопряженных параметров p и d (мощность) является инвариантом системы.

По сути, эти постулаты эквивалентны, сформулированному еще Архимедом в III в. до н.э., закону рычага.

Переход системы из одной точки в другую будем рассматривать как Трансформацию, а саму систему, выполняющую этот переход (как реальное физическое устройство или математический алгоритм) называть Трансформатором.

Примером трансформаторов могут служить рычажные весы, электрический двигатель, термическая деформация, пьезоэлемент, puzzles, преобразование Фурье, lossless data compression, обращение матриц итд.

Второй постулат (инвариантность мощности) может быть ослаблен так, чтобы распространить его действие и на неконсервативные системы. Для этого потребуется ввести мощность сторонних сил (источников и нагрузок).

Термин "сопряженные", вероятно, нуждается в пояснении и выбран за неимением лучшего. Как пример сопряжения, можно назвать ко- и контрвариантные векторы, или, лучше, продольные и поперечные параметры (в терминологии Флойда Файрстоуна). Например, в электрической цепи, ток ветви является продольным параметром (замеряется в разрезе), а напряжение ветви - поперечным (замеряется между двумя зажимами). Произведение ко- и контрвариантного параметров (продольного - тока и поперечного - напряжения) является скаляром (мощностью) и обладает характеристиками меры: полная мощность электрической цепи равна сумме мощностей всех ее ветвей.

Математически, обобщением понятия "мощность" является Мера.

Неформально, мера - это скалярная характеристика такая, что при разбиении системы на части, мера полной системы равна сумме мер частей.

Например, банкноту можно разменять более мелкими купюрами. При этом сумма их номиналов будет равна номиналу исходной банкноты, гирю можно уравновесить на рычажных весах набором гирь меньшего веса, бутылку можно разлить по стаканам, полная вероятность равна сумме вероятностей всех исходов, число может быть представлено в различных системах счисления итд.

Важность меры вытекает из самой процедуры измерения. Возможны два способа измерения чего-либо: прямой, путем непосредственного сопоставления измеряемых объектов (наложения друг на друга) и косвенный, путем сопоставления двух измеряемых объектов третьему. Очевидно, в случае двух разнородных объектов, этот третий должен обладать достаточной "пластичность", так чтобы мог быть "без зазора" наложен на каждый из них.

Мера выступает в качестве объекта с абсолютной пластичностью - произвольной и бесконечной делимостью, позволяющей сравнение сколь угодно "неправильных" предметов.

Архимед, например, воспользовался пластичностью воды для косвенного измерения объема предмета сложной формы - золотой короны царя Гиерона.

Система может обладать произвольными независимыми свойствами (координатами), для каждой из которых возможна собственная мера.

Для стопки книг, например, можно указать три таких координаты (отдельно для каждой книги): толщина тома, его вес и его цена. Измеряемыми характеристиками стопки, как системы, будут при этом высота пачки, ее вес и полная стоимость.

Приступая к задаче транспорта сообщений, Шеннон вводит двухкомпонентную модель, представляя сообщение в виде своеобразной эмульсии из абсолютно несжимаемой части (энтропии) и абсолютно сжимаемой части (избыточности). Очевидно, для расчета потребной тары (пропускной способности канала связи) существенна только несжимаемая часть - энтропия, которая и будет выполнять роль меры.

Важно понимать, что выражения вида "энтропия - мера неопределенности" или "энтропия - мера беспорядка" не более, чем не имеющие смысла "маркетинговые уловки". И, тем более, энтропия никак не связана с информационным содержанием сообщения.

Аксиоматически, будучи именно мерой, энтропия совершенно безразлична к порядку и соотношению своих составляющих, важна только их сумма. Шенноновская энтропия сообщения 0, 1, 2 ... N не изменится от любой, сколь угодно случайной перестановки ("перемешивания") символов последовательности. По критерию энтропии неразличимы любые анаграммы. Например, в парах

  • ля - ял
  • хан - хна
  • сорт - трос
  • карта - карат
  • приказ - каприз
  • мошкара - ромашка
  • апельсин - спаниель
  • лекарство - стекловар
  • дозревание - раздвоение
  • ратификация - тарификация
  • австралопитек - ватерполистка
  • нерасторжимость - старорежимность

оба слова каждой пары имеют идентичную шенноновскую энтропию. (По сути, на такой же неразличимости основана Гематрия).

Из определения системы следует, что энтропия должна быть произведением двух контрвариантных параметров - продольного и поперечного. Осталось отыскать эти параметры.


Искаженные миры Клода Элвуда Шеннона

Исторически, Ральф Хартли и Клод Шеннон рассматривали переключательные схемы, представленные ациклическим графом (деревом) переходов. Хартли считал все переходы равновероятными, Шеннон ввел поправки на асимметрию.

На самом деле, неважно, описывает ли этот граф работу схемы на переключателях, разводку труб в бассейне, транспортную, энергетическую или любую другую распределительную систему.

Для системы, описываемой двумя независимыми координатами p и d (собственная система координат), условие равновесия с окружающей средой распадается на два независимых уравнения (по одному, для каждого из параметров). Исторически, в различных дисциплинах приняты различные названия, далее будет использоваться термин Законы Кирхгофа.

Рассматривая граф как распределительную цепь, состоящую из узлов и ветвей, будем приписывать узлам графа величины продольных параметров (потоки), а ветвям графа - поперечных параметров (напоры).

  1. Первый Закон Кирхгофа - условие равновесия для узлов:

    Cумма потоков сливающихся в узле равна нулю.

  2. Второй Закон Кирхгофа - условие равновесия для контуров:

    Сумма напоров по замкнутому контуру равна нулю.

Для любой консервативной системы, эти условия выполняются автоматически.

Выбор контрвариантных параметров (переход к собственной системе координат) не всегда очевиден. Поэтому удобно начать с рассмотрения тех систем, где он проще всего - электрических цепей. Непосредственно измеряемыми продольными параметрами (потоками) в них являются токи ветвей, а поперечными (напорами) - напряжения на зажимах.


Линейная распределительная цепь

Неформально, линейность системы означает, что она может быть произвольно разбита на части, при этом суммарное действие будет сумме действий частей. Это же относится и к мощности системы: полная мощность системы равна сумме парциальных мощностей. Однако, будучи мерой, мощность сохраняет свойство линейности для произвольной, в том числе, нелинейной системы. Или, иными словами, любая система всегда линейна по мощности. Геометрически, площадь произвольно разрезанной на части фигуры равна сумме площадей всех ее частей.

Наблюдаемыми параметрами простейшей электрической цепи служат ток ветви (продольный параметр) и напряжение на ее зажимах (поперечный параметр). Их произведение (мера) называется мощностью. Полная мощность цепи равна сумме мощностей всех ветвей.

Важно, что электрическая цепь линейна относительно своих параметров: токи ветвей могут складываться с токами, напряжения - с напряжениями, мощности - с мощностями. Если теперь рассечь систему на несколько независимых частей, то токи, напряжения и мощности в каждой из них будут иметь собственные значения, но полная мощность системы не изменится и также будет равна сумме мощностей всех частей.

Электрическая цепь - замечательная расчетная модель для всего, что может быть соединено последовательно или параллельно. Почему может потребоваться что-то еще?

Дело в том, что при объединении систем, возможен еще один тип соединения - каскадное, которое удобно описывать в терминах коэффициентов передачи отдельных звеньев цепи. Например, в гомеопатии интересуются результатом нескольких последовательных разведений. В оптике - прохождением луча через набор линз. При анализе текстов - вероятностью появления некоторой буквы в зависимости от предшествующей ей цепочки символов текста. Во всех этих случаях, аналогом операции сложения в линейной цепи выступает операция умножения.


Нелинейная распределительная цепь

Нелинейная распределительная цепь также описывается в терминах двух параметров: потоков ветвей и коэффициентов передачи ветвей. Потоки ветвей, очевидно, являются аналогами электрических токов. Однако, коэффициенты передачи ветвей не могут выступать в качестве напоров (напряжений) ветвей. Придется искать другую характеристику.

Распределительная сеть, существенно нелинейна: в то время, как продольные параметры (потоки) в узлах складываются, поперечные параметры (передаточные коэффициенты) при последовательном соединении ветвей не складываются, а перемножаются.

x + y --> x * y

Поэтому ввести понятие меры для распределительной сети окажется возможным, только если найдется обратное преобразование f такое, что

f(x * y) = f(x) + f(y)


Трансформатор Непера

По собственному признанию Джона Непера, математика не была основным его занятием. Подобно другому известному богослову, Исааку Ньютону, проводившему большую часть времени в поисках философского камня, главным делом своей жизни Непер считал истолкование пророчеств Апокалипсиса. Все же, в истории науки он остался не как автор знаменитых (и имевших больший успех, чем все его научные работы) "A plaine discovery of the whole revelation of S. John etc", а благодаря другим своим книгам: "Mirifici logarithmorum canonis descriptio", 1614 ("Описание удивительной таблицы логарифмов") и "Rabdologia", 1617 ("Рабдология, или две книги о счёте с помощью палочек"). В 1622 году Уильям Отред усовершествовал "палочки Непера" (предложив использовать две одинаковые шкалы, скользящие одна вдоль другой), а в 1662 году Сет Партридж добавил к ним бегунок и визир. В таком исполнении, "палочки Непера" (или, точнее, "трансформатор Непера") просуществовали до появления электронных калькуляторов.

Занимательная история логарифмической линейки имеет непосредственное отношение к нелинейным распределительным цепям. Ранее говорилось об отыскании обратного преобразования f, позволяющего вычислить меру нелинейной цепи. По счастью, такая функция существует и, более того, она единственна - это логарифм:

log(x * y) = log(x) + log(y)

Нетрудно видеть, что линейная и нелинейная распределительные цепи связаны между собой преобразованием Непера.


Развесистые деревья Теории Информации

Осторожные авторы избегают употреблять всуе сочетание "Теории Информации", предпочитая иные корректно-нейтральные, например, "Теория связи" или "Статистическая радиотехника". Но стараниями падких на "buzz words" популяризаторов, за всем комплексом связанных с коммуникацией технических дисциплин закрепилось неправильное и вводящее в заблуждение название "Теория Информации". Уже в 1956 году Клод Шеннон с горечью отмечал в статье: "За последние несколько лет теория информации превратилась в своего рода бандвагон от науки". С тех пор ситуация только ухудшилась. Так что, не следует понимать заголовок слишком буквально. Тем не менее, математическая теория связи, действительно, основана на понятии выбора и деревья (графы переходов), возможно, наиболее удобный и наглядный способ рассуждений о природе сообщений.

Рассматривая текстовое сообщение как набор символов некоторого алфавита, следует выделять две важные характеристики:

  • Все символы алфавита различны (алфавит является множеством)
  • Для символов алфавита задано отношение предшествования (множество упорядочено)

Второе обстоятельство часто упускается из виду (особенно, во всяких задачниках по информатике, лишая приводимые задания всякого смысла).

Разбиение множества кодов на элементы удобно представлять в виде дерева, где путь к каждому из листьев кодирует его индекс в алафавите. В соответствии с распространенной архитектурой компьютеров, деревья, обычно, двоичные.

Нетрудно заметить, что представленное дерево полностью сбалансировано: длина пути от корня дерева до каждого из листьев одинакова. Такое строение дерева не является обязательным и дерево может быть асимметричным. Если ввести параметр "высота дерева", считая его как число уровней на пути от корня дерева к самому удаленному его листу, то очевидно, что из всех возможных деревьев, именно сбалансированные будут иметь наименьшую высоту. Если структура типа Tree используется для хранения информации в листьях, сбалансированность гарантирует наименьшее время поиска.


Качания деревьев

При том же самом количестве листьев, в зависимости от внутренней структуры, дерево может иметь различную высоту. Очевидно, что для дерева с конечным числом листьев, число возможных внутренних состояний также конечно. Каким-то из состояний будет отвечать полная сбалансированность дерева (и, соответственно, его минимальная высота), каким-то, наоборот, максимальный разбаланс и максимальная высота. Таким образом, траектория движения системы Tree имеет две экстремальные точки. Если теперь принять высоту дерева за координату состояния, то изменения внутренней структуры дерева, приводящие к изменению его высоты, будут аналогичны движению маятника, приводящему к изменению его отклонения от вертикали. Соответственно, будем называть такие движения (от одной экстремальной точки траектории к другой) качаниями дерева.

Как можно видеть, в данном случае, качания сводятся к переносу узла из левой ветви в правую и обратно (с пересчетом коэффициентов передач ветвей).


Дерево Хартли

Двадцатые годы прошлого века были временем расцвета ламповой техники. Многие схемные решения стали классическими. "Академическая" теория рядов Фурье перекочевала в практические курсы для радиоинженеров. Но в то время, как для аналоговых сигналов имелись понятные и легко применимые метрики: ширина полосы частот и длительность сигнала (и на инвариант их произведения Р. Хартли ссылается в своей статье, как на общеизвестный факт), для текстовых сообщений ситуация была не столь очевидна, а методы оптимизации (коды Морзе, Бодо) оставались чисто эмпирическими.


Трансформатор Хаффмана

Среди большого разнообразия расчетных методов теории линейных цепей можно указать два важных направления:

  • Локальные преобразования: эквивалентные преобразования фрагментов цепи (в том числе, "звезда-треугольник" и "треугольник-звезда"). Методы этой группы не меняют "видимости" фрагмента цепи "извне" (для оставшейся части цепи). Токи и напряжения на зажимах изолированного фрагмента сохраняют свои значение, независимо от изменений его внутренней структуры.
  • Глобальные преобразования: участки цепи согласовываются из условия достижения наибольшей эффективности (максимума передачи мощности).

Естественно ожидать, что и при анализе нелинейных распределительных цепей встретятся их аналоги.

Mr. Spy занимается экономическим шпионажем в стране проживания (разумеется, исключительно, по открытым источникам). Регулярные отчеты о добытых тайнах он отправляет своему заокеанскому работодателю. Для обеспечения секретности переписки, Mr. Spy использует специальный код - четырехбуквенный алфавит, символы которого поименованы соответственно сторонам света: N, E, S, W. К несчастью, из-за малого размера алфавита, депеши получаются очень длинными и затраты на трансатлантический трафик наносят ощутимый урон его доходам от шпионской деятельности. Будучи человеком от природы любознательным, Mr. Spy прознал о таком методе сжатия данных, как оптимальное кодирование методом Хаффмана и желает выяснить, много ли ему удастся сэкономить на своих донесениях. Проаналировав изрядное число шифротекстов, он выяснил, что буквы N и S встречаются в них примерно поровну, W вдвое чаще, чем любая их предыдущих, а E вдвое чаще, чем W.

Приняв полный размер шифртекста за единицу, Mr. Spy составил следующую табличку для парциальных частот символов:

Исходный алфавит
Symbol Partial frequency Source code Huffman code
N 1/8 00 110
E 4/8 01 0
S 1/8 10 111
W 2/8 11 10

Исходному (равномерному) алфавиту отвечает левое (сбалансированное) кодовое дерево. Далее, в соответствии с алгоритмом Хаффмана, он строит новое (правое) кодовое дерево.

Оказывается, алгоритм Хаффмана сводится к качанию дерева. (Соотношение парциальных частот в примере выбрано так, чтобы сделать отклонение максимальным).

Ничего неожиданного в этом, конечно, нет - исходная система кодов перестраивается так, чтобы неравномерность длин кодов "погасила" неравномерность кратностей символов. Разумеется, целочисленная апроксимация не очень "гладкая", но с увеличением числа кодов растет число степеней свободы и качество приближения. По существу, это ничем не отличается от приближения функций многочленами, а дерево кодов - просто наглядный способ отображения этого преобразования. При желании, несложно посчитать точность аппроксимации для любого заданного набора данных.

Выясним, каков выигрыш от сжатия в данном случае, взяв, например, восьмисимвольное модельное сообщение "NSWWEEEE" с тем же самым распределением частот, что и в исследованных Mr. Spy шифртекстах.

Original: NSWWEEEE --> 0010111101010101 (c разбивкой на отдельные коды: 00'10'11'11'01'01'01'01)

Packed (c разбивкой на отдельные коды): 110'111'10'10'0'0'0'0 --> NSWWEEEE

Исходную (равномерную) и новую (неравномерную) системы кодов можно рассматривать как две различные координатные системы, в которые проецируется одно и то же сообщение (тензор). При упаковке происходит двойное преобразование: сначала N кодам исходной (равномерной) системы ставятся в соответствие N кодов новой (неравномерной) системы. В общем случае, новые координаты не будут совпадать с прежними: по отношению к старой системе, сообщение окажется сдвинутым / повернутым / масштабированным. Затем эти новые координаты считываются так, словно принадлежат новому сообщению в исходной системе координат. Это можно сравнить с отражением исходного сообщения в "кривом зеркале" неравномерной системы, подобно искажению отражений в зеркалах "комнаты смеха". При везении (очевидно, сжаты могут быть не все тексты), новое "искаженное" изображение окажется компактнее исходного - произойдет упаковка.

Прочитав упакованное сообщение в исходном алфавите получим:

Packed: 11011110100000 --> WEWSSNN (c разбивкой на отдельные коды: 11'01'11'10'10'00'00)

Нетрудно заметить, что при "кривом отражении" происходит смешивание координат. Так, например, четыре подряд идушие буквы EEEE в исходной (равномерной) системе коодинат записывались четырьмя двухбитными кодами 01'01'01'01, в новой (неравномерной) системе координат оказались отраженными в четыре однобитных кода 0'0'0'0, и при повторном отражении в исходную (равномерную) систему координат, были считаны уже как два двухбитных кода 00'00 (две подряд идушие буквы NN).

Выигрыш оказался не очень большим - один символ (два бита), или 12.5%. Но распределение частот символов заметно изменилось - оно выровнялось.

Частотности символов сжатого сообщения
Symbol Partial frequency
N 2/7
E 1/7
S 2/7
W 2/7

Изменение длин кодов почти полностью "погасило" разницу частот символов исходного сообщения.

Для алфавита большего размера точность может быть выше и, в идеале, изменение длин кодов полностью "гасит" частотную неравномерность исходного сообщения.

Таким образом, если ввести два сопряженных параметра, один из которых будет показывать неравномерность частот символов, а другой - неравномерность длин кодов, то на плоскости этих параметров сжатие методом Хаффмана будет представлено поворотом. Рассматривая два экстремальных состояния: несжатый равномерный код и сжатый равночастотный, легко понять, что сжатие Хаффмана является поворотом на 90 градусов в плоскости этих параметров. Иными словами, для контрвариантных параметров p и d трансформатор Хаффмана H является метрическим тензором.

То, что преобразование Хаффмана (сжатие без потерь) является биекцией, прямо следует из его обратимости. Поскольку это отображение в себя (сжатая строка является строкой в том же самом алфавите), формально оно будет перестановкой. Однако, наличие инварианта делает его поворотом. Причем инвариантом сжатия является именно (шенноновская) энтропия. И, поскольку инвариантом системы является произведение ее контрвариантных параметров, то на плоскости pd (если только не полагать один из параметров мнимым), преобразованию Хаффмана соответствует гиперболический поворот.

Для выяснения смысла параметров p и d, рассмотрим пошагово, как происходила упаковка сообщения.


© Gazlan, 2015 * gazlan@yandex.ru