情報量（I = -log₂ p）
ある事象が起きたと知ったときに得られる情報の大きさ（確率が低いほど大きい）
📌情報量とは
情報量（自己情報量）とは、ある事象が実際に起きたと知ったときに得られる「驚きの大きさ」を数値にしたものです。単位は ビット（bit）。
ポイントは「めったに起きないこと（確率が低い事象）が起きたほうが、得られる情報は大きい」という点です。たとえば「明日は晴れ」というよく当たる予報よりも、「明日は雪」という珍しい予報のほうが、聞いたときの驚き＝情報量が大きい、というイメージです。
上のツールで確率 p のスライダーを左（小さい値）に動かすと、情報量 I がぐんと増えるのが曲線で分かります。逆に p を 1 に近づけると（＝ほぼ確実に起きる事象）、情報量はほとんど 0 になります。「分かりきっていることを知っても、得る情報はほぼゼロ」というわけです。
📐計算式I=-log₂(p)の意味
計算式は I = -log₂(p) です。log₂（＝2を底とする対数）とは「2を何乗するとその数になるか」を表します。たとえば log₂(8) = 3 です（2³ = 8 だから）。
確率 p は 0〜1 の小数なので log₂(p) はマイナスになります。そこに先頭のマイナスを付けることで、情報量 I を 正の値にしているのが「-（マイナス）」の役割です。式を変形すると I = log₂(1/p) とも書け、「全部で 1/p 通りある中の 1 つ」を区別するのに何ビット必要かを表していると読めます。
計算例:
・p = 1/2（コインの表）：I = -log₂(1/2) = 1 ビット
・p = 1/4：I = -log₂(1/4) = 2 ビット
・p = 1/8：I = -log₂(1/8) = 3 ビット
🔢単位ビット(bit)の意味
情報量の単位ビット（bit）は、コンピュータの記憶単位のビットとまったく同じ考え方です。1 ビット＝「はい/いいえ」「0/1」という 2 択を 1 回区別できる情報量のことです。
身近な例として「20 の扉」ゲームを考えてください。相手が思い浮かべた答えを「はい/いいえ」で答えられる質問だけで当てるゲームです。1 回の質問（＝1 ビット）で候補を半分に絞れるので、n 回質問すれば 2ⁿ 通りの中から特定できます。逆に言えば、2ⁿ 通りから 1 つを当てるのに必要な情報量が n ビット、というわけです。
注意点として、情報量は整数とは限りません。たとえばサイコロの 1 の目（p = 1/6）の情報量は I = -log₂(1/6) ≈ 2.585 ビット と小数になります。これは「6 通りは 2 ビット（4 通り）では足りず、3 ビット（8 通り）では多すぎる、その中間」という意味です。情報量はあくまで理論上の最小ビット数を表す指標だと理解しておきましょう。
