엔트로피

물리학에서는 엔트로피를 무질서도라고 한다.
정보이론에서 엔트로피가 갖는 의미를 한 마디로 표현하자면, 불확실성이라고 볼 수 있다.
왜 엔트로피가 불확실성일까?
엔트로피가 크다는 것은 A가 들고 있는 카드에 적힌 알파벳을 맞추기 위해 더 많은 질문을 필요로 한다는 것이고, 결국 A가 들고 있는 카드의 알파벳을 알아내기가 더 힘들다는 뜻이다.
즉 불확실하다는 뜻이다.