エントロピー:対数で表記

エントロピーは、「重複度(複雑度、乱雑さ)」ではなくて「重複度の対数」に比例する。
前回の50枚のコインをわ〜〜と投げたときの裏表の出る可能性(重複度)のグラフを「リニア」で表現すると下記だが

「対数」で表現すると下記となる(底は10)。

リニアでグラフ化すると、左右の端の方の棒グラフはほとんど見えないが、「桁数」を表す「対数」にすると見えてくる。
これも、エントロピーが人間の感覚に近い数(考え方)であることを示している。
人間の感覚は、刺激の対数に比例する(フェヒナーの法則)。すなわち刺激の大きさが4から8に倍増しても、私たちは刺激が2倍になったとは感覚しない。4から16(4の2乗)になってはじめて、2倍になったと感覚する。
指にほんの軽く触れても人間は感じるが、もし感覚がリニアに増えるとすると、包丁で指を切ったりした時はその感覚(痛み)が大きすぎて気絶してしまう。人間が「感覚を対数で感じる」というのは自然の摂理に沿っている。
エントロピーでも、その重複度(複雑度、乱雑さ)は先回の図の様に中央に向かってものすごく大きな数になる。リニアで表すと重複度が少ない所は限りなくゼロになってしまう。
これが、エントロピーが「重複度(複雑度、乱雑さ)の対数に比例する」様に定義されている理由である。