大量のデータから有用なパターンや規則を発見する手法
データマイニング(Data Mining)とは、大量のデータの中から、人が気づいていなかった有用なパターンや規則を発見する手法のことです。「マイニング(mining)」は「採掘」の意味で、まさに大量のデータという鉱山から、価値ある知識という宝石を掘り当てるイメージから名付けられました。
通常のデータ集計(売上の合計を出す等)と違うのは、「あらかじめ知りたい答えが決まっていない」点です。
・普通の集計:「先月の売上はいくら?」という問いに答える
・データマイニング:「気づいていなかったが、実はこういう傾向がある」という思わぬ規則を見つけ出す
有名な逸話に「ビールとおむつ」があります。スーパーの大量の購買データを分析したところ、「おむつを買う人はビールも一緒に買う傾向がある」という、誰も予想していなかった組合せが見つかった、という話です。このように人間の直感では気づけない関係を、データから自動で掘り起こすのがデータマイニングの本質です。上の図で代表的な手法を確認してください。
データマイニングには目的に応じていくつかの代表的な手法があります。それぞれが「何を発見する手法か」を区別して理解することが重要です。
主要な4つの手法:
・相関ルール分析:「Aを買う人はBも買う」のような一緒に起きやすい組合せを発見する。スーパーの併売分析(バスケット分析)が代表例
・クラスタリング:正解ラベルなしで、似たデータ同士を自動でグループ(クラスタ)に分ける。顧客を性質ごとに分けるのに使う
・分類:あらかじめ正解(ラベル)が付いたデータで学習し、新しいデータを既知のグループに振り分ける。スパムメール判定など
・予測(回帰):過去の傾向から未来の数値を見積もる。来月の売上・需要の予測など
特に間違えやすいのが「クラスタリング」と「分類」の違いです。覚え方のコツは「正解ラベルがあるかどうか」。
・クラスタリング:正解ラベルなし。データを見て自動でまとまりを見つける(教師なし学習)
・分類:正解ラベルあり。既知のカテゴリへ振り分ける(教師あり学習)
身近な例で対比すると、クラスタリングは「初対面の人たちを雰囲気が似た者同士で何となくグループ分けする」のに対し、分類は「すでにある『学生/社会人』という枠に新しい人を当てはめる」イメージです。この区別は混同しやすいので確実に押さえましょう。
データマイニングは、ビジネスの現場で意思決定を支えるために幅広く使われています。手法と活用シーンを結びつけて理解しておきましょう。
| 手法 | 応用事例 | 効果 |
|---|---|---|
| 相関ルール | POSデータの併売分析 | 棚割り・おすすめ商品の提案 |
| クラスタリング | 顧客のセグメント分け | ターゲットを絞った広告・販促 |
| 分類 | 不正利用・スパムの検知 | クレジットカードの異常検知 |
| 予測 | 需要予測・売上予測 | 在庫の最適化・欠品防止 |
身近な例では、ネット通販の「この商品を買った人はこちらも買っています」というおすすめ表示(レコメンド)が分かりやすいでしょう。これは相関ルール分析や、似た顧客の購買傾向を使った結果です。動画配信サービスのおすすめ作品も同じ発想で作られています。
押さえておきたいポイントは次の通りです。
・データマイニングは大量に蓄積されたデータ(ビッグデータ)を分析対象とすることが多い
・分析の前段階として、欠損や誤りを整えるデータクレンジング(前処理)が重要
・近年は機械学習・AIと組み合わせて精度を高める流れが主流
「大量データから有用なパターンを発見する手法」という定義と、4つの主要手法・応用事例をセットで理解しておくとよいでしょう。