04 // انٹرایکٹو فارمولا مجموعہ // شماریاتی تقسیم، ریگریشن اور اینٹروپی کے کلیاتH(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)
شینن انفارمیشن اینٹروپی اور چینل گنجائش کا کلیہ
ڈیٹا کو بغیر نقصان سکیڑنے کے لیے فی علامت کم از کم بٹس H(X) اور شور والے مواصلاتی چینل کی زیادہ سے زیادہ رفتار C ناپنے کے بنیادی کلیات۔
فارمولا حوالہ
بنیادی فارمولا
H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)
متبادل شکلیں
H_binary(p) = −p·log₂(p) − (1−p)·log₂(1−p)
D_KL(P ∥ Q) = ∑ p_i · log₂(p_i / q_i)
متغیرات اور اکائیاں
| Symbol | Name | Unit |
|---|---|---|
| H | Binary Entropy H(p) | bits / symbol |
| p | Symbol Probability p | 0–1 |
| M | Equiprobable Alphabet Size M (info log₂M) | symbols |
ان پٹ اور پیرامیٹرز
[0–1]
[symbols]
حساب کا نتیجہ (Binary Entropy H(p))
H =0.811278bits / symbol
فارمولے کی وضاحت اور نوٹس
- Claude Shannon (1948) proved H(X) = −∑ p_i log₂(p_i) is the unique continuous, symmetric, additive functional measuring uncertainty up to a logarithmic base factor.
- Base-2 logarithms yield 'bits' (shannons); natural logarithms yield 'nats' (1 nat = 1/ln2 ≈ 1.4427 bits).
حل شدہ مثالیں
#1: Binary source emitting '1' with probability p = 0.25 and '0' with probability 0.75.
p = 0.251 − p = 0.75
H = −0.25·log₂(0.25) − 0.75·log₂(0.75) = 0.500 + 0.3113
→ H = 0.8113 bits/symbol (compresses ~18.9% below 1 raw bit/symbol)
#2: Shannon-Hartley capacity of a B = 20 MHz wireless channel at SNR = 31 (≈ 14.9 dB).
B = 20 MHzS/N = 31
C = 20 × 10⁶ × log₂(1 + 31) = 20 × 10⁶ × 5
→ C = 100 Mbps theoretical error-free limit
کیا یہ ٹول آپ کے لیے مددگار ثابت ہوا؟
اکثر پوچھے گئے سوالات (FAQ)
شینن انفارمیشن اینٹروپی اور چینل گنجائش کا کلیہ آن لائن ٹول کیسے کام کرتا ہے؟+
معلوم قیمتیں درج کریں یا سلائیڈر حرکت دیں تاکہ آپ کے براؤزر میں فوری طور پر شینن انفارمیشن اینٹروپی اور چینل گنجائش کا کلیہ (مساوات: H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)) کا حساب اور بصری تجزیہ ہو سکے۔ ڈیٹا کو بغیر نقصان سکیڑنے کے لیے فی علامت کم از کم بٹس H(X) اور شور والے مواصلاتی چینل کی زیادہ سے زیادہ رفتار C ناپنے کے بنیادی کلیات۔
کیا میں شینن انفارمیشن اینٹروپی اور چینل گنجائش کا کلیہ کے نتائج ڈاؤن لوڈ یا پرنٹ کر سکتا ہوں؟+
جی ہاں، آپ فوری طور پر SVG، PNG، CSV ڈاؤن لوڈ کر سکتے ہیں یا ورک شیٹ پرنٹ کر سکتے ہیں۔
کیا میں شینن انفارمیشن اینٹروپی اور چینل گنجائش کا کلیہ میں نمونہ ڈیٹا صاف کر کے نئے سرے سے آغاز کر سکتا ہوں؟+
جی ہاں، ٹول کے اوپر موجود کلیئر بٹن پر کلک کر کے تمام خانے خالی کیے جا سکتے ہیں اور کسی بھی وقت نمونہ ڈیٹا دوبارہ لوڈ کیا جا سکتا ہے۔