東京工科大学 メディア学部 ブログ

例えば、コインを転がして表が出るか裏が出るかのくじ引きを考えましょう。表か裏かは、それぞれ確率二分の一です。二分の一の逆数は（二分の一）分の一で２ですね。その２を底とする対数を取ると１です。それぞれが出る確率は二分の一ずつなので、（二分の一）×１＋（二分の一）×１が期待される情報量となり、その値が１になることがわかります。この式で計算される値、つまり、そのくじ引きで平均的に得られる情報量の期待値は「エントロピー」と呼ばれています。「エントロピー」はもともとはランダムさを表す物理学の用語です。

トランプのマークは４種類なので、それぞれが出る確率は四分の一。この情報量は２になりますね。（四分の一）×２の４倍が期待される情報量になり、２であることがわかります。おや？場合が２のときにくらべ、場合が４のほうが平均的に期待される情報量である「エントロピー」が多いですね。何が出るかという場合の数が多くなれば多くなるほど、期待が膨らみますね。ドキドキしますね。どうも「エントロピー」は、期待感、ドキドキ感に関係ありそうです。