문. 정보 엔트로피 답. 1. 정보 엔트로피의 개념 - 정보량은 정보가 지니고 있는 불확실성의 정도를 확률을 이용하여 나타낸 것 - 불확실성이 클수록 많은 정보량을 가지며 사건이 확실히 존재하면 정보량은 없음 - 정보 엔트로피는 어느 심볼구간내에서 각 심볼들이 다른 확률로 발생하는 경우 얻을 수 있는 정보량의 기댓값 2. 정보 엔트로피 개념도 및 특징 가. 개념도 - 정보 엔트로피는 평균정보량을 의미함 - 발생확률이 작을수록 정보량은 커지고 발생확률이 높을수록 정보량은 작아짐 나. 특징 구 분 설 명 평균 정보량 - - M: 심볼갯수 m: 메시지 심볼집합 P: 발생확률 최대 평균 정보량 - - 각 심볼의 발생확률이 같을 때 평균 정보량은 최대가 됨 - 불확실성이 최대일 때 평균 정보량임 3. 정보 엔트로..
