04 // 交互式科学公式百科 // 概率分布、回归分析与信息熵公式H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)
香农信息熵与信道容量公式
信息论奠基公式，定量给出随机信源无损压缩所需的最小平均比特数 H(X) 以及有噪信道的最大传输速率上限 C。
公式速查卡
核心公式
H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)
变形公式
H_binary(p) = −p·log₂(p) − (1−p)·log₂(1−p)
D_KL(P ∥ Q) = ∑ p_i · log₂(p_i / q_i)
变量说明与单位
| Symbol | Name | Unit |
|---|---|---|
| H | Binary Entropy H(p) | bits / symbol |
| p | Symbol Probability p | 0–1 |
| M | Equiprobable Alphabet Size M (info log₂M) | symbols |
输入数值与参数
[0–1]
[symbols]
计算结果 (Binary Entropy H(p))
H =0.811278bits / symbol
公式说明与推导背景
- Claude Shannon (1948) proved H(X) = −∑ p_i log₂(p_i) is the unique continuous, symmetric, additive functional measuring uncertainty up to a logarithmic base factor.
- Base-2 logarithms yield 'bits' (shannons); natural logarithms yield 'nats' (1 nat = 1/ln2 ≈ 1.4427 bits).
分步计算实例
#1: Binary source emitting '1' with probability p = 0.25 and '0' with probability 0.75.
p = 0.251 − p = 0.75
H = −0.25·log₂(0.25) − 0.75·log₂(0.75) = 0.500 + 0.3113
→ H = 0.8113 bits/symbol (compresses ~18.9% below 1 raw bit/symbol)
#2: Shannon-Hartley capacity of a B = 20 MHz wireless channel at SNR = 31 (≈ 14.9 dB).
B = 20 MHzS/N = 31
C = 20 × 10⁶ × log₂(1 + 31) = 20 × 10⁶ × 5
→ C = 100 Mbps theoretical error-free limit
这个工具对您有帮助吗？
常见问题解答 (FAQ)
如何使用在线 香农信息熵与信道容量公式 工具？+
输入已知参数或拖动滑块，即可在浏览器中实时计算并可视化 香农信息熵与信道容量公式（基于关系式 H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)）。信息论奠基公式，定量给出随机信源无损压缩所需的最小平均比特数 H(X) 以及有噪信道的最大传输速率上限 C。
可以导出或打印 香农信息熵与信道容量公式 的结果吗？+
可以。支持一键复制数据、打印计算工作表或导出高清 SVG、PNG 和 CSV 文件。
我可以清空 香农信息熵与信道容量公式 中的示例数据并从空白状态开始吗？+
可以。点击工具顶部的“清空 / 空白开始”按钮即可重置所有输入项，随时也可一键重新加载示例数据。