04 // インタラクティブ数式・公式辞典 // 確率分布・回帰分析・情報エントロピーの公式集H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)
シャノンの情報エントロピーと通信路容量の公式
データの不確かさと可逆圧縮の理論限界ビット数 H(X)、およびノイズのある通信路で誤りなく送れる最大速度 C を示す情報理論の基礎式です。
公式リファレンス
基本公式
H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)
変形した式
H_binary(p) = −p·log₂(p) − (1−p)·log₂(1−p)
D_KL(P ∥ Q) = ∑ p_i · log₂(p_i / q_i)
変数と単位
| Symbol | Name | Unit |
|---|---|---|
| H | Binary Entropy H(p) | bits / symbol |
| p | Symbol Probability p | 0–1 |
| M | Equiprobable Alphabet Size M (info log₂M) | symbols |
入力値・パラメータ
[0–1]
[symbols]
計算結果 (Binary Entropy H(p))
H =0.811278bits / symbol
公式の解説・背景
- Claude Shannon (1948) proved H(X) = −∑ p_i log₂(p_i) is the unique continuous, symmetric, additive functional measuring uncertainty up to a logarithmic base factor.
- Base-2 logarithms yield 'bits' (shannons); natural logarithms yield 'nats' (1 nat = 1/ln2 ≈ 1.4427 bits).
具体的な計算例
#1: Binary source emitting '1' with probability p = 0.25 and '0' with probability 0.75.
p = 0.251 − p = 0.75
H = −0.25·log₂(0.25) − 0.75·log₂(0.75) = 0.500 + 0.3113
→ H = 0.8113 bits/symbol (compresses ~18.9% below 1 raw bit/symbol)
#2: Shannon-Hartley capacity of a B = 20 MHz wireless channel at SNR = 31 (≈ 14.9 dB).
B = 20 MHzS/N = 31
C = 20 × 10⁶ × log₂(1 + 31) = 20 × 10⁶ × 5
→ C = 100 Mbps theoretical error-free limit
このツールは役に立ちましたか？
よくある質問（FAQ）
シャノンの情報エントロピーと通信路容量の公式の使い方は？+
数値を入力するかスライダーを動かすだけで、シャノンの情報エントロピーと通信路容量の公式（数式: H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)）をブラウザ上で即座に計算・視覚化できます。データの不確かさと可逆圧縮の理論限界ビット数 H(X)、およびノイズのある通信路で誤りなく送れる最大速度 C を示す情報理論の基礎式です。
シャノンの情報エントロピーと通信路容量の公式の計算結果やグラフは保存できますか？+
はい。計算結果のワンクリックコピーに加え、高解像度のSVG・PNG画像、CSVデータ、印刷用ワークシートとして即座に出力できます。
シャノンの情報エントロピーと通信路容量の公式のサンプルデータを消去して白紙から入力できますか？+
はい。ツール上部のクリア（白紙から開始）ボタンを押すとすべての入力欄がリセットされ、いつでもサンプルデータを再読み込みできます。