令和3年度 III-12

解説

この問題で問われていること

各事象の確率から、平均情報量(エントロピー)を計算する問題。

解き方

① エントロピーは0以上で、3通りの結果なら最大log₂3=1.58。0になるのは結果が確定しているときだけ
② ③④(負)、⑤(0)、②(4.56は最大値1.58を超える)はあり得ない。計算しても0.2×2.32+0.5×1+0.3×1.74≒1.49
③ 1.486(①)

正解が正しい理由

平均情報量H=-Σ p log2 pである。晴れ(p=0.2=1/5)の情報量は、log2 5=2.32。曇り(p=0.5)の情報量は、log2 2=1。雨(p=0.3=3/10)の情報量は、log2(10/3)=log2 10−log2 3=(1+2.32)−1.58=1.74(log2 10=log2 2+log2 5=1+2.32)。したがってH=0.2×2.32+0.5×1+0.3×1.74=0.464+0.5+0.522=1.486[bit]となり、①が正しい。

この問題で必要な基礎

■ log₂の意味
log₂xは「2を何乗するとxになるか」を表します。例えばlog₂8=3です。

■ 情報量と平均情報量
確率pで起こる出来事が起きたと知ったときの情報量は log₂(1/p) です。起こりにくい出来事ほど、知ったときの情報量は大きくなります。平均情報量(エントロピー)は、この情報量を確率で重み付けして平均したもの(p×log₂(1/p)の合計)です。

■ 対数の計算のきまり
・log₂(a/b)=log₂a−log₂b(割り算は引き算になる)
・log₂(a×b)=log₂a+log₂b(掛け算は足し算になる)
例えば log₂(10/3)=log₂10−log₂3、log₂10=log₂2+log₂5=1+2.32 です。

各選択肢について

• ① 計算結果1.486[bit]と一致する。これが正答。
• ② 4.56[bit]は、各事象の情報量を単純に合計する、などで得られる値で、確率による重み付けをしていない。
• ③ エントロピーは負にならない。負号の付け方の誤り。
• ④ エントロピーは負にならない。
• ⑤ エントロピーが0になるのは、確率1で結果が確定している場合だけ。

覚えるべきポイント

エントロピーH=Σ p_i log2(1/p_i)。確率が等しいほど大きく、結果が確定するとき0になる。負にはならない。