문. 정보 엔트로피

문. 정보 엔트로피

답.

1. 정보 엔트로피의 개념

- 정보량은 정보가 지니고 있는 불확실성의 정도를 확률을 이용하여 나타낸 것

- 불확실성이 클수록 많은 정보량을 가지며 사건이 확실히 존재하면 정보량은 없음

- 정보 엔트로피는 어느 심볼구간내에서 각 심볼들이 다른 확률로 발생하는 경우 얻을 수 있는 정보량의 기댓값

 

2. 정보 엔트로피 개념도 및 특징

가. 개념도

<그림. 정보 엔트로피 개념도>

  - 정보 엔트로피는 평균정보량을 의미함

  - 발생확률이 작을수록 정보량은 커지고 발생확률이 높을수록 정보량은 작아짐

나. 특징

구 분	설 명
평균 정보량	- - M: 심볼갯수 m: 메시지 심볼집합 P: 발생확률
최대 평균 정보량	- - 각 심볼의 발생확률이 같을 때 평균 정보량은 최대가 됨 - 불확실성이 최대일 때 평균 정보량임

 

3. 정보 엔트로피 유형 비교

구 분	낮은 엔트로피	높은 엔트로피
예측량	있음	없음
평균 정보량	낮음	높음
발생확률	특정 심볼에서 높음	심볼간 동일
전송효율	우수	낮음

  - 통신시스템 설계 시 전송효율을 우수하게 하기위해 낮은 엔트로피로 설계해야함

 

4. 정보통신시스템에서 정보 엔트로피 의미

구 분	설 명
개념측면	- 정보라는 추상적인 개념을 수학적으로 정량화함
전송효율측면	- 전송효율을 높이기위해 정보 엔트로피를 낮춰야함
활용방안측면 (현장적용)	- 정보엔트로피를 낮추기위해 소스코딩/채널코딩을 활용해야함 - 4G/5G에서 LDPC와 Polar Code가 사용되는 이유로 정보 엔트로피 때문임