Cтраница 2
Выражение (1.8) известно как формула Шеннона для энтропии источника дискретных сообщений. Энтропию рассматривают как гмеру неопределенности в поведении источника. [16]
Выражение (1.8) известно как формула Шеннона для энтропии источника дискретных сообщений. Энтропия рассматривается как мера неопределенности в поведении источника. [17]
Воспользуемся для подсчета Н формулой Шеннона: Н 4 72 бит. [18]
Полученное выражение совпадает с формулой Шеннона. [19]
Эти равенства часто называют формулой Шеннона. [20]
Таким образом получено соответствие между формулой Шеннона и оптимальным фильтром Колмогорова - Винера. Шеннона дает завышенную оценку максимальной скорости передачи информации. [21]
Выражение ( 408) носит название формулы Шеннона. [22]
Обратим внимание на то, что определяемое формулой Шеннона количество информации Н не зависит от того, какие именно значения принимает в том или ином испытании случайная величина, или какие именно варианты реализованы. Содержание возможных значений случайной величины или возможных вариантов вообще не рассматриваются. Все определяется исключительно вероятностями значений случайной величины или вариантов. [23]
Как отмечалось выше, мы не являемся первыми, использовавшими формулу Шеннона совместно с теорией графов. Рашевский [26] первым рассчитал информационное содержание графа, подставляя наборы эквивалентных точек в уравнение ( 2), и Мовшович развил этот подход. Бончев и Тринайстич [27] применили уравнение ( 3) к расстояниям в графах. Насколько мы можем удостовериться, уравнение ( 4) является оригинальным. [24]
Гетероатомы ( атомы элементов, отличных от элемента, атомы которого преобладают) также могут быть включены в нашу схему с помощью формулы Шеннона. Разметка молекулярного графа таким образом, чтобы ранее эквивалентные вершины становились неэквивалентными, увеличивает величину С ( т), так как прежде эквивалентные связки по необходимости становятся неэквивалентными. С другой стороны, величина С ( ч) не изменяется, когда метка не влияет на классы эквивалентности связок. Предостережением против одновременного суммирования числа сложностей или числа индексов является тот факт, что если это осуществить, то отдельные величины исчезают из виду в этой сумме, и на основании полученного таким образом числа нельзя сказать, присутствуют гетероатомы или же нет. [25]
При каком условии формула Шеннона переходит в формулу Хартли. [26]
Интеграл в правой части совпадает с шенноновским выражением максимальной скорости передачи информации по каналу с полосой W. Тот же результат может быть получен с использованием формулы Шеннона для потери энтропии в линейном фильтре. [27]
В этом оказался глубокий смысл, поскольку объективные ( количественные) характеристики информации - одни и те же не только в канале связи, книге, памяти человека или компьютера, но также в живой клетке, кристалле и вообще в любых объектах и системах окружающего мира. Вероятностную формулу энтропии математики и кибернетики называют сегодня формулой Шеннона, а физики и биологи - формулой Болъцмана. Нередко ее называют также формулой Болъцмана-Шеннона, что представляется справедливым, поскольку Шеннон не просто воспользовался готовой формулой, но фактически превратил ее из формулы для термодинамики в формулу, работающую практически во всех областях знания - от физики и кибернетики до языкознания и психологии. [28]
PN - Налицо неопределенность, и степень этой неопределенности равна Н бит, где Н определяется по формуле Шеннона. [29]
Этот пример из статистической механики показывает, что по существу беспорядок есть понятие из теории информации. Поэтому не удивительно, что энтропию Колмогорова К, показывающую, насколько динамическая система хаотична, также можно определить формулой Шеннона, так что К пропорциональна скорости потери информации о состоянии динамической системы с течением времени. [30]