04 // Интерактивный справочник формул // ФОРМУЛЫ ВЕРОЯТНОСТНЫХ РАСПРЕДЕЛЕНИЙ, РЕГРЕССИИ И ЭНТРОПИИH(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)

Формула информационной энтропии Шеннона и пропускной способности канала

Фундаментальные уравнения теории информации для оценки минимального числа бит на символ при сжатии без потерь H(X) и предела скорости передачи в канале с шумом C.

Справочная карточка формулы

Основная формула

H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)

Выраженные формы

H_binary(p) = −p·log₂(p) − (1−p)·log₂(1−p)

D_KL(P ∥ Q) = ∑ p_i · log₂(p_i / q_i)

Переменные и единицы

Переменные и единицы — Shannon Information Entropy & Channel Capacity Formula
Symbol	Name	Unit
H	Binary Entropy H(p)	bits / symbol
p	Symbol Probability p	0–1
M	Equiprobable Alphabet Size M (info log₂M)	symbols

Исходные данные и параметры

pSymbol Probability p[0–1]

MEquiprobable Alphabet Size M (info log₂M)[symbols]

Результат расчёта (Binary Entropy H(p))

H =0.811278bits / symbol

Пояснения и вывод формулы

Claude Shannon (1948) proved H(X) = −∑ p_i log₂(p_i) is the unique continuous, symmetric, additive functional measuring uncertainty up to a logarithmic base factor.
Base-2 logarithms yield 'bits' (shannons); natural logarithms yield 'nats' (1 nat = 1/ln2 ≈ 1.4427 bits).

Примеры с подробным решением

#1: Binary source emitting '1' with probability p = 0.25 and '0' with probability 0.75.

p = 0.251 − p = 0.75

H = −0.25·log₂(0.25) − 0.75·log₂(0.75) = 0.500 + 0.3113

→ H = 0.8113 bits/symbol (compresses ~18.9% below 1 raw bit/symbol)

#2: Shannon-Hartley capacity of a B = 20 MHz wireless channel at SNR = 31 (≈ 14.9 dB).

B = 20 MHzS/N = 31

C = 20 × 10⁶ × log₂(1 + 31) = 20 × 10⁶ × 5

→ C = 100 Mbps theoretical error-free limit

Был ли этот инструмент полезен?

Часто задаваемые вопросы (FAQ)

Как пользоваться онлайн-инструментом «Формула информационной энтропии Шеннона и пропускной способности канала»?+

Введите известные параметры или перемещайте ползунки для мгновенного расчёта Формула информационной энтропии Шеннона и пропускной способности канала по формуле H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N) прямо в браузере. Фундаментальные уравнения теории информации для оценки минимального числа бит на символ при сжатии без потерь H(X) и предела скорости передачи в канале с шумом C.

Можно ли скачать график или расчёт из «Формула информационной энтропии Шеннона и пропускной способности канала»?+

Да, все вычисления выполняются локально в браузере. Вы можете скачать векторный SVG, растровый PNG, таблицу CSV или распечатать лист с решением.

Можно ли очистить демонстрационные данные в «Формула информационной энтропии Шеннона и пропускной способности канала» и начать с нуля?+

Да. Нажмите кнопку очистки в верхней части инструмента, чтобы сбросить поля и ввести собственные данные с чистого листа, либо верните пример одним нажатием.