回帰分析（最小二乗法）

📉

回帰分析とは

回帰分析（Regression Analysis）とは、ある変数（目的変数 y）を、別の変数（説明変数 x）から予測・説明するための統計手法です。データの背後にある関係を「数式（モデル）」として表現し、未知の x に対する y の予測や、x の変化が y に与える影響度の評価に使います。

身近な例で言うと、「広告費（x）からの売上（y）の予測」、「面積（x）からのマンション価格（y）の見積もり」、「気温（x）からのアイスクリーム売上（y）の推定」などが回帰分析の典型的な使い道です。相関係数が「2 変数の関連の強さ」を 1 つの数値で表すのに対し、回帰分析は「具体的な予測式」を作るのがゴールです。

最もシンプルなのが y = ax + b という直線でモデル化する単回帰です。与えられたデータから傾き a と切片 b を求め、予測値 ŷ を計算したり、残差や決定係数を読み取ったりします。

📐

最小二乗法の考え方

データに「最もよく当てはまる直線」と言っても、当てはまり方は無数に考えられます。最小二乗法（Least Squares Method）はそのなかから「残差の二乗和を最小にする直線」を選ぶ基準です。

残差とは、各データ点の実測値 y と直線が予測する値 ŷ = ax + b の縦方向の差です。残差をそのまま足すと正負が打ち消し合うので、二乗してから合計します。これが「残差二乗和 SSE」。

SSE = Σ(y − (ax + b))² → 最小にする a, b を選ぶ

微分して 0 になる条件を解くと、傾き a と切片 b は次の式で求まります（暗記推奨）。

a = Σ((x−x̄)(y−ȳ)) / Σ(x−x̄)²
b = ȳ − a × x̄

なぜ「二乗」なのか: ①正負を打ち消さずに「ズレの大きさ」を測れる、②微分しても式がきれいで解析的に解ける、③大きなズレほど大きく罰する（外れ値への感度を高める）、という 3 つの利点があります。これにより全データから見て公平に「真ん中を通る」直線が得られます。

決定係数 R²: 回帰直線がデータをどれくらいよく説明できているかを 0〜1 で表した指標。R² = 1 − SSE / SST（SST は y の全変動）。R² が 1 に近いほど直線でほぼ完璧に説明できているということ。単回帰では R² = r²（相関係数の二乗）になります。

🔀

単回帰と重回帰

回帰分析は、説明変数の数によって 2 種類に分かれます。

重回帰のメリット: y を説明する要因が複数あるとき、各説明変数の影響度（係数 a₁, a₂, …）を個別に評価できます。例えばマンション価格を「面積だけ」で説明するより「面積＋築年数＋駅距離」のほうが現実をうまく捉えられ、予測精度も上がります。

重回帰の注意点:
・多重共線性（マルチコ）: 説明変数同士の相関が強いと、係数が不安定になる
・過学習: 変数を増やしすぎると訓練データには合うが、新しいデータでは精度が落ちる
・説明変数の選択: AIC / BIC、ステップワイズ法、Lasso などで重要な変数を絞る

整理しておきたいポイント:
・「説明変数 1 個＝単回帰、2 個以上＝重回帰」という区別
・最小二乗法は単回帰でも重回帰でも同じ原理（残差二乗和を最小化）
・決定係数 R² はモデルの当てはまりの指標で 0〜1、1 に近いほど良い
・回帰直線は外れ値（極端な点）に引きずられやすい