東京工科大学 メディア学部 ブログ

まず考えられることは、確率の逆数でしょう。たとえば二分の一の確率なら２、四分の一の確率なら４というぐあいに。これで、情報の量を測ることができそうです。それでは、八分の一の確率で起こることの情報の量は８なのでしょうか？

 

８チームのスポーツ大会では何回試合をすれば優勝が決まるでしょう？２チームずつの対戦１回戦で４チームが選ばれ、次の対戦で２チームになり、３回目の試合で優勝が決まりますね？みなさんが受け取る情報量は実はこれに似ています。

 

そうなんです。実は情報量は確率の逆数を求め、それの２を底とする対数を取ることにより求まるのです。情報量の単位はみなさんおなじみのビットです。二分の一の確率で起こることの情報量は１ビット、四分の一の確率で起こることの情報量は２ビット、八分の一で起こることの情報量は３ビットになるわけです。

 

それでは、確定していることの情報って求まるんでしょうか？確定しているということは、確率は１です。逆数をとっても１です。その対数はというとゼロです。つまり、確定していることは情報ゼロなのです。言われてみれば確かにそうですね。はじめから決まっていることは、そのことを耳にしても何の情報もないわけで、納得できますね。

逆に絶対起こらないことが起こったら、どうなるでしょう。確率ゼロの逆数は無限大です。その対数も無限大です。つまり、ありえないことが起こったら、無限大の情報量を受け取ることになるのです。みなさんはそんなことのイメージ想像できますか？

 

相川　清明