平均情報量（Σ pᵢ × Iᵢ）
各事象の情報量を確率で重み付けして平均した値（＝エントロピー）
📌平均情報量とは
平均情報量とは、複数の事象それぞれの情報量を、その事象の確率で重み付けして平均した値です。これはエントロピー H とまったく同じ量で、単位もビット（bit）です。
身近な例で言うと、テストの平均点と同じ発想です。点数（情報量）をそのまま足すのではなく、人数の割合（確率）を掛けてから足す——つまり「起きやすい事象ほど全体への影響が大きい」ように平均をとります。たまにしか起きない事象は情報量が大きくても、確率が小さいので全体への寄与は控えめになります。
上のツールでスライダーを動かすと、テーブルの各事象の情報量 Iᵢ と寄与 pᵢ×Iᵢ がリアルタイムで更新され、それらの合計が平均情報量になることが確認できます。確率を 1 つに偏らせると平均情報量が下がり、均等に近づけると上がります。
📐計算式の意味
式は 平均情報量 = Σ pᵢ × Iᵢ = -Σ pᵢ log₂(pᵢ) です。Σ（シグマ）とは「すべての事象について足し合わせる」という意味の記号で、Iᵢ に各事象の情報量 -log₂(pᵢ) を代入すると右辺の形になります。
計算の手順は以下の通りです。
・① 各事象の情報量：Iᵢ = -log₂(pᵢ) を 1 つずつ計算
・② 重み付け：それぞれに確率 pᵢ を掛ける（pᵢ×Iᵢ）
・③ 合計：すべて足すと平均情報量
計算例として、確率 {1/2, 1/4, 1/8, 1/8} の 4 事象を考えます。
I = {1, 2, 3, 3} ビット（それぞれ -log₂ で計算）
平均 = 1/2×1 + 1/4×2 + 1/8×3 + 1/8×3 = 0.5+0.5+0.375+0.375 = 1.75 ビット
🗜️符号化での活用
平均情報量はデータ圧縮（符号化）の理論的な目安として重要です。あるデータを符号化するとき、1 記号あたりの平均符号長は平均情報量より短くはできないことが知られています（シャノンの情報源符号化定理）。
つまり平均情報量は「圧縮の限界（下限）」を教えてくれます。たとえば平均情報量が 1.75 ビットなら、どんなにうまく符号化しても 1 記号を平均 1.75 ビットより短くは表せません。次のページで学ぶハフマン符号は、出現頻度の高い記号に短い符号を割り当てることで、この下限ぎりぎりまで圧縮率を高める方法です。
整理すると、平均情報量は1 記号あたりの平均符号長の理論的下限であり、確率が偏っているほど平均情報量は小さく圧縮の余地が大きくなります。逆に一様分布だと平均情報量が最大になり、これ以上圧縮しにくくなります。
