Клод Шэннон
«Информация – то, что снижает неопределенность»
Клод Элвуд Шэннон (30 апреля 1916 –24 февраля 2001) – американский инженер-электрик и математик, называемый «отцом информационной теории» и был основателем теории практического дизайна цифрового канала.
Шэннон родился в Петоски, штат Мичиган. Первые шестнадцать лет своей жизни он провел в Гэйлорде, Мичиган, где он посещал общественную школу, а акже выпустился из высшей школы Гэйлорда в 1932 году. В юношестве он работал курьером службы Western Union. Шэннон был дальним родственником Томаса Эдисона.
В 1932 году он поступил в Мичиганский университет, где выбрал курс, который познакомил его с работами Джорджа Буля. Он закончил это учебное заведение в 1936 году с двумя степенями бакалавра: одной по электроинженерии, а другой – по математике, а затем занялся образованием в Массачусетском институте технологий, где он работал на дифференциальном анализаторе Ванневара Буша – аналоговом компьютере.
Изучая сложные, узкоспециальные электросхемы дифференциального анализаторы, Шэннон увидел, что концепции Буля могут получить неплохое применение. Статья, написанная с его магистерской работы 1937 года «Символический анализ реле и коммутаторов», была опубликована в 1938 году в издании Американского института инженеров-электриков. Она также стала причиной вручения Шэннону премии Американского института инженерии имени Альфреда Нобеля в 1940 году. Ховард Гарднер из Гарвардского университета назвал работу Шэннона «возможно, самой важной, а также самой известной магистерской работой столетия».
В этой работе Шэннон доказал, что алгебра и бинарная арифметика Буля могут быть использованы для упрощения оформления электромеханических реле, если их использовать в телефонных маршрутизирующих коммутаторах. Использование этого свойства электрических коммутаторов легло в основу его концепции, которая послужила фундаментом всех электронных цифровых компьютеров. Работа Шэннона стала основанием практического проектирования цифрового канала, она получила широкую известность среди общества инженеров-электриков во время и после Второй мировой войны. Теоретическая строгость работы Шэннона полностью сместила все методы, которые превалировали до нее.
Застигнутый врасплох этим успехом Ванневар Буш утверждал, что работа Шэннона над диссертацией в лаборатории Колд Спринг Харбор, основанной институтом Карнеги, который, в свою очередь, и возглавлял Буш, вывела те же математические отношения, что и генетика Менделя, что привело к появлению тезиса Шэннона «Алгебра теоретической генетики».
В 1948 году Шэннон опубликовал статью «Математическая теория общения»в двух частях, в июльском и октябрьском выпусках «Bell System Technical Journal». Эта работа фокусировалась на проблеме того, как лучше кодировать информацию, которую нужно передать. В своем фундаментальном труде он использовал инструменты теории вероятности, разработанные Норбертом Вайнером, которые на тот момент были только в стадии зарождения, что касается применения в теории. Шэннон разработал информационную энтропию как средство против неопределенности в сообщениях, практически разработав поле информационной теории. Его книга в соавторстве с Уорреном Вивером «Математическая теория общения» по сути, повторяет статью Шэннона 1948 года и представляет Виверовскую популяризацию ее, которая понятна даже неспециалисту. Концепция Шэннона также была популяризирована а «Символах, Сигналах и Звуках» Джона Робинсона Пирса.
Фундаментальный вклад в виде информационной теории в обработку текста на естественном языке и компьютерную лингвистику был еще более сформирован в 1951 году в его статье «Предсказание и энтропия печатного английского», которая доказала, что введение пробела, как двадцать седьмой буквы алфавита существенно снижает уровень неуверенности в письменном языке, давая четкое количественное звено между культурной практикой и вероятностным познанием.
Другой значимой статьей, опубликованной в 1949 году, является «Коммуникационная теория секретных систем» - огромный вклад в развитие математической истории криптографии, где он также доказывает, что все теоретически не подвергающиеся взлому, шифры должны иметь те же требования, что и одноразовый код. Ему также приписывают введение теории выборочного метода, которая сосредоточена на представлении долговременного сигнала от одинакового дискретного набора образцов. Эта теория была ключевой для телекоммуникаций, переведя их с аналоговых на цифровые системы передачи в шестидесятых годах и позднее.