Apache Kafka（アパッチカフカ）
Jay Kreps等LinkedIn 2011年1月OSS化したストリーミングプラットフォーム。Pub/Sub+Distributed Log+Apache Foundation 2012年寄贈。
概要
Apache Kafkaは、Jay Kreps+Neha Narkhede+Jun Rao等のLinkedInチームが2011年1月にOSS化した分散ストリーミングプラットフォームで、Pub/Sub メッセージキュー+Distributed Log Storage+Stream Processingを統合した現代マイクロサービス+データパイプライン基盤の業界標準。Apache Foundationへ2012年10月寄贈+2014年Confluent Inc.設立（Kafka創始者3名+Greylock Partners $7M Series A）で商業化進行+2024年Q4累計Confluent IPO 2021年6月 $9B時価総額+Kafka業界普及80%超のFortune 500企業採用。主要技術: ①Topic+Partition+Offset構造（メッセージを Topic + Partition で分割管理）、②Producer/Consumer model（PublisherがTopicに送信、Subscriberがofset管理で読込）、③Distributed Log Storage（複数Brokerでデータ複製+耐障害性）、④Apache ZooKeeper（メタデータ管理、2024年Kafka Raftで置換）、⑤Streaming API（Kafka Streams 2016年-+ksqlDB 2017年-）、⑥Connect（外部システム接続）、⑦Schema Registry（Avro/JSON Schema統合）、⑧Kafka Connect 2017年-（外部DB+Cloud統合）。主要採用: LinkedIn+Netflix+Twitter/X+Uber+Airbnb+Spotify+Pinterest+米バンク（JPMorgan Chase等）+各国Fortune 500企業のデータパイプライン+リアルタイム解析+マイクロサービス連携で2014-2026年事実上業界標準。Kafka 4.0（2025年Q1予定）でApache ZooKeeper完全廃止+Kafka Raft統一。
主な特徴・仕組み
- 種類: 分散ストリーミングプラットフォーム
- OSS化: 2011年1月（LinkedIn）
- Apache Foundation: 2012年10月寄贈
- 商業化: Confluent Inc. 2014年設立
- 主要構造: Topic+Partition+Offset
- 主要API: Producer/Consumer+Streams+Connect+ksqlDB
- 業界普及: Fortune 500企業80%超
- IPO: Confluent 2021年6月 $9B時価総額
- 後継: Kafka 4.0（2025年Q1予定、ZooKeeper廃止）
スペック比較表
| プラットフォーム | OSS化 | スループット | 用途 |
|---|---|---|---|
| Apache Kafka | 2011/01 | 数百万メッセージ/秒 | 業界標準 |
| Apache Pulsar | 2016/09 | 同等 | Yahoo!代替 |
| RabbitMQ | 2007 | 数万メッセージ/秒 | 中規模 |
| Amazon Kinesis | 2013 | クラウド | AWS統合 |
| Google Pub/Sub | 2015 | クラウド | GCP統合 |
具体例・対応製品
- Apache Kafka 0.7（2011年初期OSS）
- Apache Foundation 寄贈（2012年10月）
- Confluent Inc. 設立（2014年、Jay Kreps CEO）
- Kafka Streams（2016年5月、ストリーム処理）
- Confluent IPO（2021年6月、$9B時価総額）
- Kafka 3.x（2021-2024年、KRaft統合）
- Kafka 4.0（2025年Q1予定、ZooKeeper完全廃止）
- 採用 LinkedIn/Netflix/Uber/Spotify/JPMorgan等
自作PCでの選び方・注意点
Apache Kafkaは完全にエンタープライズ・クラウドネイティブ用途で、自作PC一般用途とは別世界。自宅サーバ・ホームラボ環境でApache Kafka 3.x+Docker Compose+Apache ZooKeeper（または KRaft）+Kafka UI+Provectus/Kafka UI+Confluent Schema Registry等の組合せでKafka学習可能。Kubernetes環境ではStrimzi Kafka Operator+Confluent Cloud等のManaged Kafka が現実的選択肢。実装ベストプラクティス: ①3 Broker+3 ZooKeeper最小構成で耐障害性確保、②Topic Partition設計で並列スループット最適化、③Schema Registry+Avroでデータ契約管理、④MirrorMaker 2でデータセンタ間レプリケーション、の4要素で本格運用可能。
関連用語との違い
Apache Pulsar（Yahoo!2016年OSS化）はKafka代替+セグメント分離+Multi-Tenancy対応で差別化、ただしKafka業界普及度が圧倒的優位。RabbitMQ（2007年OSS）はAMQP標準+メッセージブローカ+小規模～中規模向け、Kafkaは大規模ストリーミング特化で住み分け。Amazon Kinesis+Google Pub/SubはクラウドManaged Kafka代替で、ベンダーロックイン考慮。
よくある質問（FAQ）
Q1: なぜKafkaが業界標準？ A: ①LinkedIn実証済み大規模スループット、②Apache OSS+Confluent商業化のバランス、③Kafka Streams+Connect+ksqlDB統合、④主要クラウド全社統合、⑤Fortune 500企業80%採用の累積エコシステム、の5要素複合で2014-2026年クラウドネイティブ業界事実上標準として確立。
Q2: ZooKeeperからKRaftへ？ A: Apache ZooKeeper（メタデータ管理）の運用複雑性+Kafkaクラスタとの依存性が課題、Kafka 2.8（2021年）でKRaft（Kafka Raft）プレビュー+Kafka 4.0（2025年Q1予定）で完全置換。運用シンプル化+起動時間短縮。
Q3: 自宅で学習開始するには？ A: Docker Compose+Apache Kafka 3.x単一Broker構成（学習用）→3 Broker クラスタ（本格学習）→Confluent Cloud Free Tier（クラウドハンズオン）の3段階推奨。
まとめ
- 2011年1月LinkedIn OSS化・Apache Foundation 2012年寄贈
- Pub/Sub+Distributed Log+Stream Processing統合
- Confluent 2014年商業化・2021年6月IPO $9B
- Fortune 500企業80%採用の業界標準
- Kafka 4.0（2025年Q1）でKRaft完全統合