Databricks 2019年4月OSS化したストレージレイヤ。Apache Spark+データレイクACID+スキーマ強制・Linux Foundation 2019年寄贈。
Delta Lakeは、Databricks Inc.（Apache Spark創始者Matei Zaharia等2013年設立）が2019年4月24日にOSS化したストレージレイヤ仕様で、Apache Spark密結合+データレイクACIDトランザクション+スキーマ強制+タイムトラベル+Schema Evolution+Streaming/Batch統合等のRDBMS級機能をデータレイク上に提供するDatabricks Lakehouse Platform中核機能。Linux Foundationへ2019年10月寄贈+Linux Foundation Delta Lake Projectとして運営継続。主要競合: Apache Iceberg（Netflix 2018年OSS、本batch同時登録）+Apache Hudi（Uber 2017年OSS）の3大Open Lakehouse Format戦争、2024年Q4時点でIceberg+Delta Lakeが業界主流。Delta Lake 主要技術: ①ACID Transactions（Optimistic Concurrency Control+Multi-Version Concurrency Control）+②Schema Enforcement（書込時スキーマ厳密チェック）+③Schema Evolution（互換性ある変更許可）+④Time Travel（過去バージョン参照+AS OF構文）+⑤Streaming/Batch Unification（Apache Spark Structured Streaming統合）+⑥Delta Sharing（クロスクラウドデータ共有プロトコル）+⑦Delta UniForm（2024年-、Iceberg+Hudi互換読み取りでフォーマット中立化）+⑧Z-Ordering（マルチカラムインデックス最適化）+⑨Delta Lake Catalog Unity Catalog統合。主要採用: Databricks Lakehouse Platform顧客全般+Apple+Disney+Comcast+各国Fortune 500企業のApache Spark+Delta Lake組合せで2020-2026年Lakehouseアーキテクチャの中核として機能。Databricksは++でとの競争激化中。
| 項目 | Delta Lake | Apache Iceberg | Apache Hudi |
|---|---|---|---|
| OSS化 | 2019/04 | 2018/11 | 2017 |
| 開発 | Databricks | Netflix | Uber |
| Spark統合 | 完全密結合 | コネクタ経由 |
| コネクタ経由 |
| Streaming | Structured Streaming統合 | あり | Upsert特化 |
| クラウド中立 | Databricks中心 | 全クラウド対応 | 限定的 |
Delta Lakeは完全にエンタープライズ・Databricks Lakehouse用途で、自作PC一般用途とは別世界。自宅・ホームラボでのDelta Lake学習: ①Databricks Community Edition（無料）、②Apache Spark+Delta Lake ローカル（Java+Spark+delta-spark）、③Microsoft Fabric Trial、の3ルート。Lakehouse学習: Databricks Academy+Coursera+Linux Foundation Training等の公式教材+Delta Lake vs Iceberg vs Hudi比較研究で現代データエンジニアリング基礎獲得。Apache Spark+Delta Lake組合せ: PySpark+pyspark.sql.SparkSession+delta-spark で実機テスト可能、自作PCでSpark Standalone Mode 1ノードで学習可、本格運用はDatabricks CloudまたはEMR/Dataproc等のクラウドManaged Spark推奨。
Apache Iceberg（本batch同時登録、Netflix 2018年OSS）はDelta Lakeの最大競合で、ベンダー中立+全クラウド対応、Delta LakeはDatabricks中心+Apache Spark密結合で住み分け。Apache Hudi（Uber 2017年OSS）は3大Lakehouse Formatの第3勢力でUpsert特化+業界普及限定。Snowflake（本batch同時登録）はDatabricks Lakehouseの主要競合プラットフォームで、Snowflake独自フォーマット+Iceberg外部対応で住み分け。
Q1: Delta Lake vs Apache Iceberg どちらを選ぶ？ A: ①Databricks中心+Apache Spark密結合→Delta Lake、②ベンダー中立+全クラウド対応→Apache Iceberg、③業界トレンド2024-2026年Iceberg優位だがDelta UniFormでフォーマット中立化進行中、で用途別に選択推奨。
Q2: Delta UniFormとは？ A: Databricks 2024年導入のフォーマット中立化機能。Delta LakeテーブルをApache Iceberg+Apache Hudiクライアントから読み取り可能にする互換層、業界Iceberg優勢に対するDatabricks戦略的対応。
Q3: Microsoft FabricとDelta Lakeの関係は？ A: Microsoft Fabric（2023年5月発表）のOneLakeストレージはDelta Lake基盤を採用、Power BI+Synapse Analytics+Microsoft 365統合でMicrosoftクラウド全体のLakehouse基盤としてDelta Lakeを業界標準化推進。