04 // 인터랙티브 공식 백과사전 // 확률 분포·회귀분석 및 정보 엔트로피 공식집H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)
섀넌 정보 엔트로피 및 채널 용량 공식
기호당 최소 무손실 압축 비트 수 H(X)와 잡음이 있는 통신 채널의 최대 전송 용량 C를 규명한 정보이론의 기초 공식입니다.
공식 요약
기본 공식
H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)
변형 공식
H_binary(p) = −p·log₂(p) − (1−p)·log₂(1−p)
D_KL(P ∥ Q) = ∑ p_i · log₂(p_i / q_i)
변수 및 단위
| Symbol | Name | Unit |
|---|---|---|
| H | Binary Entropy H(p) | bits / symbol |
| p | Symbol Probability p | 0–1 |
| M | Equiprobable Alphabet Size M (info log₂M) | symbols |
입력값 및 설정
[0–1]
[symbols]
계산 결과 (Binary Entropy H(p))
H =0.811278bits / symbol
공식 설명 및 배경
- Claude Shannon (1948) proved H(X) = −∑ p_i log₂(p_i) is the unique continuous, symmetric, additive functional measuring uncertainty up to a logarithmic base factor.
- Base-2 logarithms yield 'bits' (shannons); natural logarithms yield 'nats' (1 nat = 1/ln2 ≈ 1.4427 bits).
단계별 풀이 예제
#1: Binary source emitting '1' with probability p = 0.25 and '0' with probability 0.75.
p = 0.251 − p = 0.75
H = −0.25·log₂(0.25) − 0.75·log₂(0.75) = 0.500 + 0.3113
→ H = 0.8113 bits/symbol (compresses ~18.9% below 1 raw bit/symbol)
#2: Shannon-Hartley capacity of a B = 20 MHz wireless channel at SNR = 31 (≈ 14.9 dB).
B = 20 MHzS/N = 31
C = 20 × 10⁶ × log₂(1 + 31) = 20 × 10⁶ × 5
→ C = 100 Mbps theoretical error-free limit
이 도구가 도움이 되었나요?
자주 묻는 질문 (FAQ)
섀넌 정보 엔트로피 및 채널 용량 공식 도구는 어떻게 사용하나요?+
입력값을 넣거나 슬라이더를 조절하면 섀넌 정보 엔트로피 및 채널 용량 공식 (공식: H(X) = −∑ p_i · log₂(p_i), C = B · log₂(1 + S/N)) 결과를 브라우저에서 지연 없이 실시간으로 계산하고 시각화합니다. 기호당 최소 무손실 압축 비트 수 H(X)와 잡음이 있는 통신 채널의 최대 전송 용량 C를 규명한 정보이론의 기초 공식입니다.
섀넌 정보 엔트로피 및 채널 용량 공식의 차트나 계산 결과를 저장할 수 있나요?+
네, SVG, PNG, CSV 파일 다운로드 및 워크시트 인쇄를 즉시 지원합니다.
섀넌 정보 엔트로피 및 채널 용량 공식의 샘플 데이터를 지우고 빈 상태에서 시작할 수 있나요?+
네. 도구 상단의 초기화/비우기 버튼을 누르면 빈 입력 상태로 전환되며, 언제든지 샘플 데이터를 다시 불러올 수 있습니다.