ETL/ELT Pipeline。dbt 1.9 (Data Build Tool・Snowflake/BigQuery/Databricks)・Airbyte 1.3 (OSS Connectors 400+)・Fivetran (Managed)・Meltano (Singer)・Apache Airflow 2.10 (Workflow)・Prefect 3 (Modern Airflow代替)・Dagster 1.9・Mage 0.9・Estuary Flow・Stitch・¥0 OSS-¥¥¥¥/月、2026年dbt+Airbyte+Dagster ELT Stack主流。
ETL/ELTパイプラインは、データを抽出(Extract)し、変換(Transform)してロード(Load)する一連の処理を自動化する仕組みです。2026年時点では、dbt 1.9(Data Build Tool)、Airbyte 1.3(OSSコネクタ400+)、Fivetran(マネージドサービス)、Apache Airflow 2.10(ワークフロー)、Prefect 3(モダンAirflow代替)、Dagster 1.9、Mage 0.9、Estuary Flow、Stitch などが主要な選択肢となっています。2025年にPrefect 3が企業向け標準化を進め、2026年には「dbt + Airbyte + Dagster」ELTスタックが主流になると予測されます。
| ツール | バージョン | コネクタ数 | 主なデータウェアハウス | 料金モデル | 主な特徴 |
|---|---|---|---|---|---|
| dbt | 1.9 | 0(コードベース) | Snowflake, BigQuery, Databricks | OSS + サブスクリプション | 宣言型変換 |
| Airbyte | 1.3 | 400+ | Snowflake, BigQuery, Redshift | OSS + クラウド | コネクタ豊富 |
| Fivetran | 1.0 | 300+ | Snowflake, BigQuery, Redshift | SaaS | 設定不要 |
| Airflow | 2.10 | 0 | 任意 | OSS | DAGベース |
| Prefect | 3.0 | 0 | 任意 | SaaS/OSS | スケールフレンドリー |
Snowflake + dbt + Airbyte
Google BigQuery + Prefect + Mage
Databricks + Dagster + Estuary Flow
Q1. 2025年に導入したPrefect 3は、既存のAirflow 2.10と併用できますか?
A1. はい、Prefect 3はAirflowと同様にDAGをPythonで定義でき、AirflowのExecutorをPrefect Executorに置き換えることで併用が可能です。
Q2. dbt 1.9とAirbyte 1.3を同時に使用する場合、データの重複は発生しますか?
A2. いいえ。Airbyteはデータをデータウェアハウスにロードし、dbtはそのテーブルに対して変換処理を行うため、重複は起きません。
Q3. 2026年に主流になる「dbt + Airbyte + Dagster」スタックは、どのようなメリットがありますか?
A3. dbtで宣言型変換、Airbyteでコネクタ管理、Dagsterでパイプラインのモジュール化と再利用性を実現し、運用コストを低減しつつスケーラビリティを確保できます。
2025–2026年のETL/ELTエコシステムは、OSSコネクタの拡充とクラウドファースト設計が主流化しています。dbt 1.9とAirbyte 1.3の組み合わせは、コードベースの変換と自動化されたデータ抽出を実現し、FivetranやPrefect 3、Dagster 1.9といったオーケストレーションツールと相性が良いです。自作PCで実装する場合は、CPU・メモリ・ストレージの性能を重視し、10Gbpsネットワークと高効率電源で安定稼働を確保してください。今後もAI駆動のデータオーケストレーションやマルチクラウド統合が加速するため、最新バージョンへのアップデートとベストプラクティスの習得が不可欠です。