Delta Lake（デルタレイク）
Databricks 2019年4月OSS化したストレージレイヤ。Apache Spark+データレイクACID+スキーマ強制・Linux Foundation 2019年寄贈。
概要
Delta Lakeは、Databricks Inc.（Apache Spark創始者Matei Zaharia等2013年設立）が2019年4月24日にOSS化したストレージレイヤ仕様で、Apache Spark密結合+データレイクACIDトランザクション+スキーマ強制+タイムトラベル+Schema Evolution+Streaming/Batch統合等のRDBMS級機能をデータレイク上に提供するDatabricks Lakehouse Platform中核機能。Linux Foundationへ2019年10月寄贈+Linux Foundation Delta Lake Projectとして運営継続。主要競合: Apache Iceberg（Netflix 2018年OSS、本batch同時登録）+Apache Hudi（Uber 2017年OSS）の3大Open Lakehouse Format戦争、2024年Q4時点でIceberg+Delta Lakeが業界主流。Delta Lake 主要技術: ①ACID Transactions（Optimistic Concurrency Control+Multi-Version Concurrency Control）+②Schema Enforcement（書込時スキーマ厳密チェック）+③Schema Evolution（互換性ある変更許可）+④Time Travel（過去バージョン参照+AS OF構文）+⑤Streaming/Batch Unification（Apache Spark Structured Streaming統合）+⑥Delta Sharing（クロスクラウドデータ共有プロトコル）+⑦Delta UniForm（2024年-、Iceberg+Hudi互換読み取りでフォーマット中立化）+⑧Z-Ordering（マルチカラムインデックス最適化）+⑨Delta Lake Catalog Unity Catalog統合。主要採用: Databricks Lakehouse Platform顧客全般+Apple+Disney+Comcast+各国Fortune 500企業のApache Spark+Delta Lake組合せで2020-2026年Lakehouseアーキテクチャの中核として機能。Databricksは2024年12月評価額$62B+生成AI MosaicML 2023年6月買収 $1.3B+Delta Lake業界普及推進でSnowflake $80B時価総額との競争激化中。
主な特徴・仕組み
- 種類: Lakehouseストレージレイヤ仕様
- OSS化: 2019年4月24日（Databricks）
- Linux Foundation: 2019年10月寄贈
- 主要機能: ACID+Schema Enforcement+Time Travel+Streaming
- 密結合: Apache Spark
- ファイル: Parquet
- 主要差別化: Streaming/Batch統合+Z-Ordering+Delta Sharing
- 競合: Apache Iceberg+Apache Hudi
- Databricks時価: $62B（2024年12月評価額）
- Delta UniForm: 2024年-、Iceberg互換読み取り
スペック比較表
| 項目 | Delta Lake | Apache Iceberg | Apache Hudi |
|---|---|---|---|
| OSS化 | 2019/04 | 2018/11 | 2017 |
| 開発 | Databricks | Netflix | Uber |
| Spark統合 | 完全密結合 | コネクタ経由 | コネクタ経由 |
| Streaming | Structured Streaming統合 | あり | Upsert特化 |
| クラウド中立 | Databricks中心 | 全クラウド対応 | 限定的 |
具体例・対応製品
- Delta Lake OSS化（2019年4月24日 Databricks）
- Linux Foundation 寄贈（2019年10月）
- Databricks Lakehouse Platform（2020年-、Delta Lake中核）
- Delta Sharing（2021年5月、クロスクラウド共有プロトコル）
- Delta Live Tables（2022年4月、宣言的パイプライン）
- Delta UniForm（2024年-、Iceberg互換）
- Microsoft Fabric（2023年-、Delta Lake統合）
- 競合 Apache Iceberg（2018年Netflix OSS）
- 競合 Apache Hudi（2017年Uber OSS）
自作PCでの選び方・注意点
Delta Lakeは完全にエンタープライズ・Databricks Lakehouse用途で、自作PC一般用途とは別世界。自宅・ホームラボでのDelta Lake学習: ①Databricks Community Edition（無料）、②Apache Spark+Delta Lake ローカル（Java+Spark+delta-spark）、③Microsoft Fabric Trial、の3ルート。Lakehouse学習: Databricks Academy+Coursera+Linux Foundation Training等の公式教材+Delta Lake vs Iceberg vs Hudi比較研究で現代データエンジニアリング基礎獲得。Apache Spark+Delta Lake組合せ: PySpark+pyspark.sql.SparkSession+delta-spark で実機テスト可能、自作PCでSpark Standalone Mode 1ノードで学習可、本格運用はDatabricks CloudまたはEMR/Dataproc等のクラウドManaged Spark推奨。
関連用語との違い
Apache Iceberg（本batch同時登録、Netflix 2018年OSS）はDelta Lakeの最大競合で、ベンダー中立+全クラウド対応、Delta LakeはDatabricks中心+Apache Spark密結合で住み分け。Apache Hudi（Uber 2017年OSS）は3大Lakehouse Formatの第3勢力でUpsert特化+業界普及限定。Snowflake（本batch同時登録）はDatabricks Lakehouseの主要競合プラットフォームで、Snowflake独自フォーマット+Iceberg外部対応で住み分け。
よくある質問（FAQ）
Q1: Delta Lake vs Apache Iceberg どちらを選ぶ？ A: ①Databricks中心+Apache Spark密結合→Delta Lake、②ベンダー中立+全クラウド対応→Apache Iceberg、③業界トレンド2024-2026年Iceberg優位だがDelta UniFormでフォーマット中立化進行中、で用途別に選択推奨。
Q2: Delta UniFormとは？ A: Databricks 2024年導入のフォーマット中立化機能。Delta LakeテーブルをApache Iceberg+Apache Hudiクライアントから読み取り可能にする互換層、業界Iceberg優勢に対するDatabricks戦略的対応。
Q3: Microsoft FabricとDelta Lakeの関係は？ A: Microsoft Fabric（2023年5月発表）のOneLakeストレージはDelta Lake基盤を採用、Power BI+Synapse Analytics+Microsoft 365統合でMicrosoftクラウド全体のLakehouse基盤としてDelta Lakeを業界標準化推進。
まとめ
- Databricks 2019年4月24日OSS化
- Linux Foundation 2019年10月寄贈
- Apache Spark密結合+ACID+Time Travel+Streaming
- Databricks Lakehouse Platform中核機能
- Delta UniForm 2024年Iceberg互換でフォーマット中立化