データウェアハウスとは ― ビッグデータとの違い

データウェアハウス（DWH）とは、業務で発生したデータを集めて整理し、分析のために過去の分も含めて保存するデータベースです。売上を月別・支店別に集計したいとき、注文を受け付ける業務用のデータベースで集計すると、注文の処理が遅くなることがあります。そこで、日々の業務を動かすデータベースとは別に、分析用に持つものがデータウェアハウスです。

ビッグデータは、保存先の名前ではなく、データの性質を指す言葉です。データウェアハウスはデータを集めて分析する仕組みの名前なので、2つは比べる軸が違います。データベースの基本は、データベースとはとRDBの記事で説明しています。

OLTP（Online Transaction Processing）は、注文や在庫の移動など、日々の取引を記録して更新する処理です。OLAP（Online Analytical Processing）は、集めたデータをいろいろな角度から集計して分析する処理です。次の図は、この2つが受け持つ場所を分けて描いたものです。

業務用のデータベースは、取引が起きるたびに書き込むため、書き込みが多く、高度に正規化されています。データを重複なく持つ正規化された表は、1件ずつの更新に向いています。

分析は逆に、大量の行を読んで集計します。Microsoftのドキュメントによると、大量の集計を業務用のデータベースで行うと処理が遅くなり、ほかのトランザクションを待たせることがあります。正規化された表では集計のたびに結合が必要になることも、分析の負担になります。

履歴を業務用のデータベースにため続けると、表が大きくなって、検索が遅くなることがあります。そのため、過去の分はデータマートやデータウェアハウスに移すのが一般的な解決策だと、Microsoftのドキュメントは説明しています。AWSのドキュメントも、分析の処理を業務用のデータベースから分けると、両方の性能が上がるとしています。

Oracleのドキュメントは、データウェアハウスの特徴として、William Inmonが示した次の4つを挙げています。

• 主題指向：売上など、分析したい主題ごとにデータを整理する
• 統合：別々のシステムのデータを、名前や単位をそろえた共通の形にする
• 不変：いったん入れたデータは変更しない。起きたことを分析するためです
• 時系列：時間による変化を追えるように、長い期間のデータを持つ

業務用のデータベースは、最新の状態を保つために更新します。一方、データウェアハウスは、過去から現在までの変化を残して比べるために持ちます。

ETLは、複数のソースのデータを、データウェアハウスのような1つの大きな置き場にまとめる処理です。抽出（Extract）、変換（Transform）、ロード（Load）の3段階で行い、英語の頭文字を取ってETLと呼びます。

抽出では、元のデータを複数のソースから取り出し、一時的な置き場に置きます。変換では、ビジネスのルールに従ってデータを整えます。Microsoftのドキュメントによると、変換には、フィルター処理や並べ替え、集計、データの結合が含まれます。データのクリーニングや、重複の除去、検証も変換に含まれます。ロードでは、整えたデータをデータウェアハウスに書き込みます。

変換を、送り先に書き込んだあとで送り先の中で行う方法もあります。この順番を入れ替えた方法をELTと呼びます。

ELTは、送り先の処理能力を使ってデータを整えるため、変換専用のエンジンが不要です。AWSのドキュメントは、ELTが大量で非構造化のデータを頻繁にロードする場合に向くと説明しています。Microsoftのドキュメントは、送り先が十分に強力でないとELTはうまく働かないと注意しています。

データウェアハウスと一緒に出てくる言葉に、データマートとデータレイクがあります。データマートは用途を絞った小さなデータウェアハウスで、データレイクは構造を決めずにデータを置く場所です。

AWSのドキュメントによると、データウェアハウスは構造とスキーマをあらかじめ決めておき、リレーショナルデータの分析に最適化します。データレイクは、取り込むときに構造を決めず、あとから使い方に応じて整えます。置いたデータを探せるようにするには、何がどこにあるかを記録したメタデータが必要です。

AWSでデータウェアハウスを作るサービスには、Amazon Redshiftがあります。

ビッグデータは、従来のデータベースの扱い方では難しい、大量で多様なデータを指す言葉です。総務省の令和元年版情報通信白書は、ビッグデータを特徴付けるものとして4Vを挙げています。4Vは、量、多様性、速度、正確性の4つで、英語ではvolume、variety、velocity、veracityです。このうち量・多様性・速度の3つは、3Vとして広く知られていると、同じ白書の脚注が述べています。

平成25年版の白書は、共通する特徴として「多量性、多種性、リアルタイム性等」を挙げています。「○つのV」の数え方には様々な見方があると、令和元年版の脚注は付け加えています。

データウェアハウスとの関係は、データの構造から整理できます。総務省の平成25年版の白書は、POSデータや顧客データを構造化データ、SNSの書き込みや映像、GPSのデータなどを非構造化データとしています。ビッグデータには両方が含まれ、最近は非構造化データの増加が注目されていると述べています。

表の形に収まらないデータは、構造をあらかじめ決めるデータウェアハウスより、そのまま置けるデータレイクで扱う選択肢があります。表以外の形でデータを持つデータベースの種類は、NoSQLの記事で説明しています。このように、ビッグデータは分析する対象のデータの性質で、データウェアハウスとデータレイクは、そのデータを置く場所の設計です。

データマイニングは、大規模なデータセットを処理して探索する、コンピュータを使った分析の手法です。AWSのドキュメントがこのように説明しています。

OLAPは、集めたデータを集計し、見る角度を変えて分析します。一方、データマイニングは、大量のデータの中を探索して分析します。どちらも、データウェアハウスなどに蓄積したデータを使う分析の技術です。

• 総務省「令和元年版 情報通信白書」データに価値をもたらす4V（量・多様性・速度・正確性、3つのVの脚注）
• 総務省「平成25年版 情報通信白書」ビッグデータの概念（多量性・多種性・リアルタイム性、構造化データと非構造化データ）
• AWS「What is a Data Warehouse?」（データウェアハウスとデータマートの定義）
• AWS「OLAPとOLTPの違い」（目的・更新・データ量の違い）
• AWS「What is ETL?」（ETLとELTの違い）
• AWS「What is a Data Lake?」（データレイクとデータウェアハウスの構造の違い）
• AWS「What is Data Mining?」（データマイニングの定義）
• Microsoft Learn「オンライン トランザクション処理 (OLTP)」（OLTPの特徴、履歴のオフロード）
• Microsoft Learn「オンライン分析処理」（OLAPの特徴）
• Microsoft Learn「抽出、変換、読み込み (ETL)」（変換の内容、ELT）
• Oracle Database Data Warehousing Guide 19c「Introduction to Data Warehouse Concepts」（データウェアハウスの4つの特徴）