分析のために各種データを統合し時系列で蓄積したデータベース。
データウェアハウス(DWH=Data Warehouse、データの倉庫の意味)とは、分析のために各種データを統合し、時系列で蓄積したデータベースのことです。経営判断や戦略立案に役立てる目的で作られます。
身近な例で考えると、家計簿を何年分もまとめて保管する書庫のようなものです。日々の買い物(業務処理)は今月の出費を扱いますが、DWH は「過去5年でどの月に支出が増えたか」を見渡せるよう、データを捨てずに積み重ねていきます。
上の図解のように、販売・在庫・会計といったバラバラな業務システムのデータを1か所に集めて統一し、年ごとに積み上げます。集めたデータは BI(=ビジネスインテリジェンス。分析・可視化ツールのこと)で集計・グラフ化して活用します。
DWH へのデータの取り込みには、ETLと呼ばれる処理を使います。バラバラの形式を整えて統一する役割です。
・Extract(抽出):各業務システムから必要なデータを取り出す
・Transform(変換):日付の書式やコードを統一し、集計しやすい形に整える
・Load(格納):整えたデータを DWH に書き込む
DWH には次のような特徴があります。
・統合性:複数システムのデータを統一ルールで一元化する
・時系列性:過去のデータを上書きせず、時間軸に沿って蓄積し続ける
・分析志向:1件ずつの更新ではなく、大量データの集計・参照に最適化されている
用途としては、売上の傾向分析・需要予測・顧客の購買パターン分析などがあります。「今この瞬間の在庫数」を扱う業務システムとは目的が異なり、DWH は「過去からの流れを俯瞰する」ための土台になります。
DWH とよく対比されるのがデータレイク(data lake、データの湖)です。どちらもデータをためる場所ですが、ためる前に「整えるかどうか」が大きく違います。
| 項目 | データウェアハウス | データレイク |
|---|---|---|
| ためるデータ | 整形・統合済みの構造化データ | 生データ(構造化・非構造化を問わない) |
| 整える時点 | 格納する前に整える(ETL) | 使うときに整える |
| 主な利用者 | 経営層・分析担当 | データサイエンティスト等 |
| 例え | 分類済みの倉庫 | 何でも流れ込む湖 |
DWH は「使いやすく整えてから倉庫にしまう」方式です。あらかじめ統一されているので、すぐ集計・分析できます。一方データレイクは「とりあえず何でも生のまま湖にためておく」方式で、後から目的に応じて加工します。
整理棚に例えると、DWH はラベルを貼って分類済みの引き出し、データレイクは未整理の物をひとまず入れておく大きな箱です。近年は両方を組み合わせ、レイクにためた生データから DWH を作る構成も使われます。
データベースの使い方は大きく2種類に分かれます。OLTP(オルティーピー、Online Transaction Processing=オンライントランザクション処理)と、OLAP(オラップ、Online Analytical Processing=オンライン分析処理)です。
OLTP は「注文を受け付ける」「在庫を1つ減らす」のように、1件ずつの処理を素早くこなすことに特化しています。常に「いまの最新状態」を保つことが目的で、銀行の取引や ECサイトの購入処理がこれにあたります。
一方 OLAP は「過去3年の月別売上を比べる」のように、膨大なデータをまとめて集計・分析することに特化しています。DWH はこの OLAP を支えるためのデータ基盤です。
| 比較項目 | OLTP(業務処理) | OLAP(分析処理) |
|---|---|---|
| 操作の単位 | 1件ずつの追加・更新 | 大量データの集計・参照 |
| 速さの求め方 | 1件あたりの応答を速く | まとめての集計を速く |
| 扱うデータ | 最新の状態のみ | 過去〜現在の全履歴 |
| 使う場面 | 注文・決済・在庫管理 | 売上分析・需要予測 |
| 主なDB | 業務システムのRDB | データウェアハウス |
なぜ DWH が必要かを一言で言うと、「業務システムは分析向けに設計されていないから」です。
業務システムのデータベース(OLTP)には、次の特徴があります。
・バラバラな形式:販売システム・在庫システム・会計システムはそれぞれ独立して作られており、項目の名前や単位が統一されていないことが多い
・最新値だけを保持:在庫数などは「いま何個あるか」を常に上書きするため、「去年の同じ時期は何個だったか」が分からない
・重い分析クエリを実行できない:何百万件もの履歴を集計するような処理を業務DBで走らせると、通常の注文処理が遅くなってしまう
DWH はこれらをまとめて解決します。ETL でバラバラなデータを統一形式に変換して取り込み、時系列に積み上げることで「過去を振り返り、傾向をつかみ、未来を予測する」ための土台を提供します。経営の意思決定を支える「データの図書館」とも言えます。
Q1.データウェアハウス(DWH)の主な目的として最も適切なものはどれか。
Q2.複数の業務システムからデータを抽出・変換・格納して DWH に取り込む一連の処理を何というか。
Q3.データウェアハウスの特徴として正しいものはどれか。