エントロピー（H = -Σ pᵢ log₂ pᵢ）
確率分布全体の不確かさ（乱雑さ）を表す平均情報量
📌エントロピーとは
エントロピーとは、ある確率分布全体がどれだけ「不確か（乱雑）」かを表す数値です。記号は H、単位はビット（bit）。値が大きいほど「次に何が起きるか予測しにくい」ことを意味します。
身近な例で言うと、イカサマのないサイコロはどの目も 1/6 で出るので「次の目」がまったく読めず、エントロピーは最大です。一方、ほぼ毎回 6 が出るイカサマサイコロは結果が読みやすいので、エントロピーは小さくなります。「散らばっているほど高く、偏っているほど低い」と覚えましょう。
上のツールで各事象のスライダーを動かすと、棒グラフ（確率分布）とエントロピー H の値が連動します。1 つの事象だけ大きくして他を小さくすると H が下がり、「一様分布にする」ボタンを押してすべて等しくすると H が最大になることを確かめてください。
📐平均情報量との関係
エントロピー H は、実は「平均情報量」とまったく同じものです。前のページで学んだ各事象の情報量 Iᵢ = -log₂(pᵢ) を、その事象の起きやすさ pᵢ で重み付けして平均したものがエントロピーです。
式を順に追うとこうなります。
・各事象の情報量：Iᵢ = -log₂(pᵢ)
・確率で重み付けした寄与：pᵢ × Iᵢ
・全部足した平均：H = Σ pᵢ × Iᵢ = -Σ pᵢ log₂(pᵢ)
計算例として、確率が {1/2, 1/4, 1/4} の 3 事象を考えます。
H = 1/2×1 + 1/4×2 + 1/4×2 = 0.5 + 0.5 + 0.5 = 1.5 ビット
このように、よく起きる事象は情報量が小さく、まれな事象は情報量が大きい——それを平均したのがエントロピーです。
⚖️最大エントロピーになる条件
エントロピーが最大になるのは、すべての事象が同じ確率（一様分布）のときです。n 個の事象がそれぞれ確率 1/n で起きるとき、エントロピーは最大値 H_max = log₂(n) をとります。
直感的には「どの結果も等しくありそうなときが、もっとも予測しにくい＝もっとも不確か」だからです。逆に、ある 1 つの事象の確率が 1（必ず起きる）に近づくと結果は完全に読めるので、エントロピーは最小値 0 に近づきます。
押さえておきたいポイント:
・一様分布（すべて 1/n）でエントロピー最大 = log₂(n)
・1 つに偏るほどエントロピーは小さくなる（極端には 0）
・2 事象なら最大 1 ビット、4 事象なら最大 2 ビット、8 事象なら最大 3 ビット
