04 // Etkileşimli Formül Külliyatı // İSTATISTIKSEL DAĞILIMLAR, REGRESYON VE ENTROPI FORMÜLLERIH(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)

Shannon Bilgi Entropisi ve Kanal Kapasitesi Formülü

Sembol başına kayıpsız sıkıştırma alt sınırını H(X) ve gürültülü iletişim kanallarının maksimum veri iletim kapasitesini C belirleyen temel bilgi teorisi denklemleri.

Formül Özeti

Ana Formül

H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)

Düzenlenmiş Biçimler

H_binary(p) = −p·log₂(p) − (1−p)·log₂(1−p)

D_KL(P ∥ Q) = ∑ p_i · log₂(p_i / q_i)

Değişkenler ve Birimler

Değişkenler ve Birimler — Shannon Information Entropy & Channel Capacity Formula
Symbol	Name	Unit
H	Binary Entropy H(p)	bits / symbol
p	Symbol Probability p	0–1
M	Equiprobable Alphabet Size M (info log₂M)	symbols

Girdiler ve Parametreler

pSymbol Probability p[0–1]

MEquiprobable Alphabet Size M (info log₂M)[symbols]

Hesaplanan Sonuç (Binary Entropy H(p))

H =0.811278bits / symbol

Formül Notları ve Açıklama

Claude Shannon (1948) proved H(X) = −∑ p_i log₂(p_i) is the unique continuous, symmetric, additive functional measuring uncertainty up to a logarithmic base factor.
Base-2 logarithms yield 'bits' (shannons); natural logarithms yield 'nats' (1 nat = 1/ln2 ≈ 1.4427 bits).

Çözümlü Örnekler

#1: Binary source emitting '1' with probability p = 0.25 and '0' with probability 0.75.

p = 0.251 − p = 0.75

H = −0.25·log₂(0.25) − 0.75·log₂(0.75) = 0.500 + 0.3113

→ H = 0.8113 bits/symbol (compresses ~18.9% below 1 raw bit/symbol)

#2: Shannon-Hartley capacity of a B = 20 MHz wireless channel at SNR = 31 (≈ 14.9 dB).

B = 20 MHzS/N = 31

C = 20 × 10⁶ × log₂(1 + 31) = 20 × 10⁶ × 5

→ C = 100 Mbps theoretical error-free limit

Bu araç işinize yaradı mı?

Sıkça Sorulan Sorular (SSS)

Shannon Bilgi Entropisi ve Kanal Kapasitesi Formülü aracı nasıl kullanılır?+

Değerleri girin veya kaydırıcıları hareket ettirin; Shannon Bilgi Entropisi ve Kanal Kapasitesi Formülü (H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N) denklemiyle) tarayıcınızda anında hesaplanır ve görselleştirilir. Sembol başına kayıpsız sıkıştırma alt sınırını H(X) ve gürültülü iletişim kanallarının maksimum veri iletim kapasitesini C belirleyen temel bilgi teorisi denklemleri.

Shannon Bilgi Entropisi ve Kanal Kapasitesi Formülü sonuçlarını ve grafiklerini indirebilir miyim?+

Evet. Sonuçları anında SVG, PNG, CSV olarak indirebilir veya çalışma sayfası olarak yazdırabilirsiniz.

Shannon Bilgi Entropisi ve Kanal Kapasitesi Formülü içindeki örnek verileri temizleyip sıfırdan başlayabilir miyim?+

Evet. Aracın üst kısmındaki temizleme düğmesine tıklayarak tüm alanları boşaltabilir veya istediğiniz zaman örnek veriyi geri yükleyebilirsiniz.