04 // Compendium Interactif de Formules // FORMULES DE DISTRIBUTIONS STATISTIQUES, RÉGRESSION ET ENTROPIEH(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)

Formule de l'entropie de Shannon et capacité d'un canal bruité

Équations fondatrices de la théorie de l'information mesurant la quantité minimale de bits par symbole H(X) et le débit maximal fiable C.

Fiche formule

Formule principale

H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)

Formes équivalentes

H_binary(p) = −p·log₂(p) − (1−p)·log₂(1−p)

D_KL(P ∥ Q) = ∑ p_i · log₂(p_i / q_i)

Variables et unités

Variables et unités — Shannon Information Entropy & Channel Capacity Formula
Symbol	Name	Unit
H	Binary Entropy H(p)	bits / symbol
p	Symbol Probability p	0–1
M	Equiprobable Alphabet Size M (info log₂M)	symbols

Valeurs et paramètres

pSymbol Probability p[0–1]

MEquiprobable Alphabet Size M (info log₂M)[symbols]

Résultat calculé (Binary Entropy H(p))

H =0.811278bits / symbol

Explications et origine de la formule

Claude Shannon (1948) proved H(X) = −∑ p_i log₂(p_i) is the unique continuous, symmetric, additive functional measuring uncertainty up to a logarithmic base factor.
Base-2 logarithms yield 'bits' (shannons); natural logarithms yield 'nats' (1 nat = 1/ln2 ≈ 1.4427 bits).

Exemples détaillés

#1: Binary source emitting '1' with probability p = 0.25 and '0' with probability 0.75.

p = 0.251 − p = 0.75

H = −0.25·log₂(0.25) − 0.75·log₂(0.75) = 0.500 + 0.3113

→ H = 0.8113 bits/symbol (compresses ~18.9% below 1 raw bit/symbol)

#2: Shannon-Hartley capacity of a B = 20 MHz wireless channel at SNR = 31 (≈ 14.9 dB).

B = 20 MHzS/N = 31

C = 20 × 10⁶ × log₂(1 + 31) = 20 × 10⁶ × 5

→ C = 100 Mbps theoretical error-free limit

Cet outil vous a-t-il été utile ?

Questions Fréquemment Posées

Comment utiliser l'outil Formule de l'entropie de Shannon et capacité d'un canal bruité en ligne ?+

Modifiez les paramètres pour résoudre et visualiser Formule de l'entropie de Shannon et capacité d'un canal bruité selon la formule H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N) instantanément dans votre navigateur. Équations fondatrices de la théorie de l'information mesurant la quantité minimale de bits par symbole H(X) et le débit maximal fiable C.

Puis-je exporter les graphiques et calculs de Formule de l'entropie de Shannon et capacité d'un canal bruité ?+

Oui, cet outil permet l'export immédiat en SVG, PNG, CSV ainsi que l'impression d'une fiche de travail complète.

Puis-je effacer les données d'exemple dans Formule de l'entropie de Shannon et capacité d'un canal bruité pour repartir de zéro ?+

Oui. Cliquez sur le bouton d'effacement en haut de Formule de l'entropie de Shannon et capacité d'un canal bruité afin de saisir vos propres valeurs sur une base vierge, ou rechargez l'exemple en un clic.