문. 샤논의 정보화이론 3가지

문. 샤논의 정보화이론 3가지

답.

1. 샤논의 정보화이론 개념

  - 샤논의 정보화이론은 잡음이 있는 전송선로로 신호를 전송할 때 전송할 수 있는 최대 정보량에 대한 이론 제시

  - 샤논의 정보화이론은 3가지로 구성됨

    1) 샤논의 소스코딩 이론: 제1정리

    2) 샤논의 채널코딩 이론: 제2정리

    3) 샤논의 채널용량 이론: 제3정리

 

2. 샤논의 정보화 이론 개념도

<그림. 샤논의 정보화 이론 개념도>

  - 아날로그 신호를 디지털로 변환하여 전송할 때 소스코딩, 채널코딩을 통해 전송선로로 전송

  - 샤논의 정보화 이론을 바탕으로 이론적 기준치 제시

 

3. 샤논의 정보화 이론 제 1정리: 소스코딩 이론

구 분	설 명
수식	- - 여기서 L은 평균부호길이 값이며(소스코딩 후 ) H(s)는 이 원소스의 엔트로피임 - H(s)는 다음과 같이 표현됨 -
의미	- 소스코딩을 통한 원신호의 압축 한계는 그 원신호의 엔트로피 값과 같음 - 소스코딩방식을 제시하지 않았지만 평균 부호길이의 이론적 한계치를 제시함

 

4. 샤논의 정보화 이론 제 2정리: 채널코딩 이론

구 분	설 명
수식	- R < C - 여기서 R은 정보전송율(bps)이며 C는 채널용량(bps)을 의미함
의미	- 어떤 조건에서 오류확률을 임의로 줄일 수 있는 부호화 및 변조기법이 반드시 존재함 - R > C : 보내고자하는 정보량이 채널용량보다 크다면 에러가 발생함 - R < C : 전송정보량이 채널용량보다 작을 때는 신뢰할 수 있는 통신이 가능한 채널코딩방식이 존재함

 

5. 샤논의 정보화 이론 제 3정리: 채널용량 이론

구 분	설 명
수식	- - W는 가용대역폭, SNR은 수신신호전력과 잡음전력의 비 - C는 채널용량을 의미함
의미	- 전송채널의 전송용량을 대역폭(W), 에너지(SNR)관점에서 정의 - 주어진 채널을 통해 신뢰성있게 전송가능한 최대 정보량을 의미함

 

6. 샤논의 한계 증명

- 전송대역폭 W가 무한대로 가정

을 대입하면

 

즉 아래처럼 가능함

 

  - 전송용량을 무한대로 늘려도 잡음이 같이 증가하므로 허용되는 Eb/No는 -1.6dB가 한계임

  - SNR를 증가시켜 통신용량을 늘릴 수는 있으나 현실에서 SNR를 늘리는 것은 제한됨

 

7. 샤논의 정리 비교

구 분	소스코딩이론	채널코딩이론	채널용량이론
이론	제1정리	제2정리	제3정리
수식		R<C
의미	소스코딩의 한계치	채널코딩의 한계치	채널용량의 한계치
응용	허프만코딩, DPCM, ADM	RS코드, BCH, LDPC, Polar코드	QPSK, QAM