04 // Cẩm Nang Công Thức Tương Tác // CÔNG THỨC PHÂN PHỐI THỐNG KÊ, HỒI QUY & ENTROPYH(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)
Công Thức Entropy Thông Tin Shannon & Dung Lượng Kênh Truyền
Các phương trình nền móng của lý thuyết thông tin xác định số bit nén dữ liệu không mất mát tối thiểu H(X) và tốc độ truyền tin tối đa qua kênh nhiễu C.
Bảng công thức
Công thức chính
H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)
Các dạng suy ra
H_binary(p) = −p·log₂(p) − (1−p)·log₂(1−p)
D_KL(P ∥ Q) = ∑ p_i · log₂(p_i / q_i)
Biến số & Đơn vị
| Symbol | Name | Unit |
|---|---|---|
| H | Binary Entropy H(p) | bits / symbol |
| p | Symbol Probability p | 0–1 |
| M | Equiprobable Alphabet Size M (info log₂M) | symbols |
Dữ liệu đầu vào & Tham số
[0–1]
[symbols]
Kết quả tính toán (Binary Entropy H(p))
H =0.811278bits / symbol
Ghi chú & Giải thích công thức
- Claude Shannon (1948) proved H(X) = −∑ p_i log₂(p_i) is the unique continuous, symmetric, additive functional measuring uncertainty up to a logarithmic base factor.
- Base-2 logarithms yield 'bits' (shannons); natural logarithms yield 'nats' (1 nat = 1/ln2 ≈ 1.4427 bits).
Ví dụ minh họa có lời giải
#1: Binary source emitting '1' with probability p = 0.25 and '0' with probability 0.75.
p = 0.251 − p = 0.75
H = −0.25·log₂(0.25) − 0.75·log₂(0.75) = 0.500 + 0.3113
→ H = 0.8113 bits/symbol (compresses ~18.9% below 1 raw bit/symbol)
#2: Shannon-Hartley capacity of a B = 20 MHz wireless channel at SNR = 31 (≈ 14.9 dB).
B = 20 MHzS/N = 31
C = 20 × 10⁶ × log₂(1 + 31) = 20 × 10⁶ × 5
→ C = 100 Mbps theoretical error-free limit
Công cụ này có hữu ích với bạn không?
Câu Hỏi Thường Gặp (FAQ)
Làm thế nào để sử dụng công cụ Công Thức Entropy Thông Tin Shannon & Dung Lượng Kênh Truyền?+
Nhập các thông số hoặc kéo thanh trượt để tính toán và mô phỏng Công Thức Entropy Thông Tin Shannon & Dung Lượng Kênh Truyền theo công thức H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N) ngay lập tức trên trình duyệt. Các phương trình nền móng của lý thuyết thông tin xác định số bit nén dữ liệu không mất mát tối thiểu H(X) và tốc độ truyền tin tối đa qua kênh nhiễu C.
Tôi có thể tải xuống biểu đồ hoặc kết quả từ Công Thức Entropy Thông Tin Shannon & Dung Lượng Kênh Truyền không?+
Có! Công cụ hỗ trợ tải file SVG, PNG sắc nét, sao chép CSV hoặc in phiếu bài tập ngay lập tức.
Tôi có thể xóa dữ liệu mẫu trong Công Thức Entropy Thông Tin Shannon & Dung Lượng Kênh Truyền để nhập mới từ đầu không?+
Có. Nhấn nút xóa trống ở đầu công cụ để bắt đầu với bảng trống hoàn toàn, hoặc tải lại dữ liệu mẫu bất cứ lúc nào.