Elastic Stack (ELK・2010)（エラスティックスタック）
Elasticsearch + Logstash + Kibana 統合のログ分析プラットフォーム。Shay Banon 2010年Elasticsearch 公開、ログ分析業界標準、後にBeats追加でELK→Elastic Stack 改名。
概要
Elastic Stack (旧ELK Stack・「ELK」= Elasticsearch + Logstash + Kibana) はShay Banon (イスラエル・Compass Search 開発者) が2010年2月にApache Lucene ベースで Elasticsearch 公開、後にLogstash (ログ収集) + Kibana (可視化) と統合してログ分析プラットフォーム化。Elastic NV (オランダ) 設立・2018年NYSE IPO ($60 / $4B 評価)・後Beats (軽量Forwarder) 追加で「Elastic Stack」改名。ログ分析業界標準として企業大規模採用、2021年AWS とのライセンス紛争でSSPL 移行・「Free」OpenSearch (AWS Fork) 誕生で2極化。
Elastic Stack コンポーネント
| 製品 | 役割 |
|---|---|
| Elasticsearch | 分散検索エンジン (Apache Lucene ベース) |
| Logstash | ETL (収集 / 変換 / 出力) |
| Kibana | 可視化Dashboard |
| Beats | 軽量Data Shipper (Filebeat / Metricbeat / Packetbeat等) |
| Elastic Agent | Beats 統合エージェント |
| Elastic APM | アプリケーション性能監視 |
| Elastic Security | SIEM / SOC |
| Elastic Observability | ログ + Metric + Trace 統合 |
| Elasticsearch ML | 異常検知・ML |
Elasticsearch 主要技術
| 項目 | 仕様 |
|---|---|
| ベース | Apache Lucene |
| 構造 | Inverted Index (転置インデックス) |
| 言語 | Java |
| API | REST + JSON |
| 分散 | Shard + Replica |
| Schema | Dynamic Mapping (柔軟) |
| 集計 | Aggregation Framework |
| Vector | ANN (kNN・2024) |
| ML | Anomaly Detection / Forecasting |
| Lang Detection | Built-in (50+ 言語) |
| 全文検索 | 関連スコア (BM25) |
ELK Stack の進化
| 年 | フェーズ |
|---|---|
| 2010 | Elasticsearch 公開 |
| 2012 | Kibana / Logstash 統合 (「ELK」) |
| 2015 | Beats 追加 (軽量Shipper) |
| 2017 | 「Elastic Stack」改名 |
| 2018 | NYSE IPO |
| 2019 | Elastic APM / SIEM |
| 2020 | Elastic Endpoint Security |
| 2021-01 | SSPL ライセンス変更 |
| 2021-04 | AWS OpenSearch フォーク |
| 2024 | Elastic License v2 + SSPL → Elastic License v3 |
SSPL ライセンス紛争 (2021)
2021年1月Elastic NV が Apache 2.0 → SSPL (Server Side Public License) ライセンス変更:
- AWS / Azure / GCP マネージドサービス提供を制限
- AWS は2021年4月Elasticsearch 7.10 を「OpenSearch」としてフォーク
- 2024年8月「Elastic License v3」(AGPL + Free Cloud 自家利用可)
- 業界が2極化:Elastic 公式 vs OpenSearch (AWS)
OpenSearch (AWS Fork)
2021年4月AWS が Apache 2.0 ベースで継続開発:
- OpenSearch (旧Elasticsearch) + OpenSearch Dashboards (旧Kibana)
- AWS / Aiven / Bonsai 等のマネージドサービス
- Elastic 公式と並行進化
- ロゴ・名称完全別
主要採用先
| 企業 | 用途 |
|---|---|
| Wikipedia | 全文検索 |
| Netflix | ログ分析 |
| eBay | 商品検索 |
| Adobe | クラウドサービス |
| Cisco | セキュリティ |
| Comcast | ストリーミング |
| Walmart | 商品検索 |
| Tinder | ユーザ検索 |
| ジョブ検索 | |
| Walt Disney | コンテンツ検索 |
Elastic Cloud
Elastic NV マネージドサービス:
- AWS / GCP / Azure
- $95/月から
- Elastic + Kibana + APM + ML 統合
- セキュリティ (SIEM) 別契約
主要競合
| 製品 | 用途 |
|---|---|
| OpenSearch (AWS) | フォーク継続 |
| Loki (Grafana) | ログ専用・軽量 |
| Splunk | エンタープライズSIEM |
| Datadog | SaaS統合 |
| New Relic | APM中心 |
| Sumo Logic | クラウドSIEM |
| Manticore Search | OSS全文検索 |
| Apache Solr | 検索エンジン |
| Algolia | SaaS検索 |
Elastic vs Loki
| 項目 | Elasticsearch | Loki |
|---|---|---|
| 全文検索 | ◎ (転置索引) | △ (LogQL) |
| 構造化ログ | ◎ | ◎ |
| ストレージ効率 | 中 (Inverted Index) | ◎ (圧縮Object Store) |
| 学習曲線 | 中 | 低 (PromQL 風) |
| Prometheus 統合 | △ | ◎ (Grafana Labs製) |
| エンタープライズ | ◎ | 中 |
関連用語との違い
- vs Loki: 全文検索 / ラベルベース
- vs Splunk: OSS / 完全商用
- vs Datadog: 自家ホスト / SaaS
FAQ
Q1: Elastic License 商用利用? A: 単一企業内利用は無料・SaaS / マネージドサービス提供は制限あり (Elastic License v3 / SSPL)・AWS / Azure 公式マネージドのみ例外許可。
Q2: OpenSearch 移行? A: Elasticsearch 7.10 までは完全互換・以降は機能分岐。AWS / Aiven 等のマネージドで OpenSearch 採用増加中。
Q3: ログ vs Loki? A: 全文検索 / 詳細ログ調査ならElastic・Cost効率重視・Grafana統合重視ならLoki・両者併用も多い。