04 // موسوعة المعادلات التفاعلية // قوانين التوزيعات الإحصائية والانحدار وإنتروبيا المعلوماتH(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)
صيغة إنتروبيا شانون للمعلومات وسعة قناة الاتصال
المعادلات التأسيسية لنظرية المعلومات لقياس الحد الأدنى من البتات لضغط الرموز دون فقد $H(X)$ وأقصى سعة لقناة اتصال مشوشة $C$.
مرجع المعادلة
المعادلة الأساسية
H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)
الصيغ البديلة
H_binary(p) = −p·log₂(p) − (1−p)·log₂(1−p)
D_KL(P ∥ Q) = ∑ p_i · log₂(p_i / q_i)
المتغيرات والوحدات
| Symbol | Name | Unit |
|---|---|---|
| H | Binary Entropy H(p) | bits / symbol |
| p | Symbol Probability p | 0–1 |
| M | Equiprobable Alphabet Size M (info log₂M) | symbols |
المدخلات والمعاملات
[0–1]
[symbols]
النتيجة المحسوبة (Binary Entropy H(p))
H =0.811278bits / symbol
شرح المعادلة وملاحظاتها
- Claude Shannon (1948) proved H(X) = −∑ p_i log₂(p_i) is the unique continuous, symmetric, additive functional measuring uncertainty up to a logarithmic base factor.
- Base-2 logarithms yield 'bits' (shannons); natural logarithms yield 'nats' (1 nat = 1/ln2 ≈ 1.4427 bits).
أمثلة محلولة خطوة بخطوة
#1: Binary source emitting '1' with probability p = 0.25 and '0' with probability 0.75.
p = 0.251 − p = 0.75
H = −0.25·log₂(0.25) − 0.75·log₂(0.75) = 0.500 + 0.3113
→ H = 0.8113 bits/symbol (compresses ~18.9% below 1 raw bit/symbol)
#2: Shannon-Hartley capacity of a B = 20 MHz wireless channel at SNR = 31 (≈ 14.9 dB).
B = 20 MHzS/N = 31
C = 20 × 10⁶ × log₂(1 + 31) = 20 × 10⁶ × 5
→ C = 100 Mbps theoretical error-free limit
هل كانت هذه الأداة مفيدة؟
الأسئلة الشائعة
كيف تعمل أداة صيغة إنتروبيا شانون للمعلومات وسعة قناة الاتصال أونلاين؟+
أدخل القيم المعروفة أو حرّك المؤشرات لحساب ومحاكاة صيغة إنتروبيا شانون للمعلومات وسعة قناة الاتصال وفق المعادلة H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N) فوريًا داخل متصفحك. المعادلات التأسيسية لنظرية المعلومات لقياس الحد الأدنى من البتات لضغط الرموز دون فقد $H(X)$ وأقصى سعة لقناة اتصال مشوشة $C$.
هل يمكنني تصدير أو طباعة نتائج صيغة إنتروبيا شانون للمعلومات وسعة قناة الاتصال؟+
نعم، تعمل الأداة بالكامل داخل المتصفح وتتيح نسخ النتائج أو طباعة ورقة العمل أو تنزيل مخططات عالية الدقة بصيغة SVG وPNG وCSV.
هل يمكنني مسح البيانات التجريبية في صيغة إنتروبيا شانون للمعلومات وسعة قناة الاتصال والبدء من الصفر؟+
نعم، انقر على زر المسح والبدء بصفحة فارغة أعلى الأداة لإدخال أرقامك الخاصة من البداية، أو أعد تحميل المثال التوضيحي في أي وقت.