Jay Kreps等LinkedIn 2011年1月OSS化したストリーミングプラットフォーム。Pub/Sub+Distributed Log+Apache Foundation 2012年寄贈。
Apache Kafkaは、Jay Kreps+Neha Narkhede+Jun Rao等のLinkedInチームが2011年1月にOSS化した分散ストリーミングプラットフォームで、Pub/Sub メッセージキュー+Distributed Log Storage+Stream Processingを統合した現代マイクロサービス+データパイプライン基盤の業界標準。Apache Foundationへ2012年10月寄贈+2014年Confluent Inc.設立（Kafka創始者3名+Greylock Partners $7M Series A）で商業化進行+2024年Q4累計Confluent IPO 2021年6月 $9B時価総額+Kafka業界普及80%超のFortune 500企業採用。主要技術: ①Topic+Partition+Offset構造（メッセージを Topic + Partition で分割管理）、②Producer/Consumer model（PublisherがTopicに送信、Subscriberがofset管理で読込）、③Distributed Log Storage（複数Brokerでデータ複製+耐障害性）、④Apache ZooKeeper（メタデータ管理、2024年Kafka Raftで置換）、⑤Streaming API（Kafka Streams 2016年-+ksqlDB 2017年-）、⑥Connect（外部システム接続）、⑦Schema Registry（Avro/JSON Schema統合）、⑧Kafka Connect 2017年-（外部DB+Cloud統合）。主要採用: LinkedIn+Netflix+Twitter/X+Uber+Airbnb+Spotify+Pinterest+米バンク（JPMorgan Chase等）+各国Fortune 500企業のデータパイプライン+リアルタイム解析+マイクロサービス連携で2014-2026年事実上業界標準。Kafka 4.0（2025年Q1予定）でApache ZooKeeper完全廃止+Kafka Raft統一。
| プラットフォーム | OSS化 | スループット | 用途 |
|---|---|---|---|
| Apache Kafka | 2011/01 | 数百万メッセージ/秒 | 業界標準 |
| Apache Pulsar | 2016/09 | 同等 | Yahoo!代替 |
| RabbitMQ | 2007 | 数万メッセージ/秒 | 中規模 |
| Amazon Kinesis |
| 2013 |
| クラウド |
| AWS統合 |
| Google Pub/Sub | 2015 | クラウド | GCP統合 |
Apache Kafkaは完全にエンタープライズ・クラウドネイティブ用途で、自作PC一般用途とは別世界。自宅サーバ・ホームラボ環境でApache Kafka 3.x+Docker Compose+Apache ZooKeeper（または KRaft）+Kafka UI+Provectus/Kafka UI+Confluent Schema Registry等の組合せでKafka学習可能。Kubernetes環境ではStrimzi Kafka Operator+Confluent Cloud等のManaged Kafka が現実的選択肢。実装ベストプラクティス: ①3 Broker+3 ZooKeeper最小構成で耐障害性確保、②Topic Partition設計で並列スループット最適化、③Schema Registry+Avroでデータ契約管理、④MirrorMaker 2でデータセンタ間レプリケーション、の4要素で本格運用可能。
Apache Pulsar（Yahoo!2016年OSS化）はKafka代替+セグメント分離+Multi-Tenancy対応で差別化、ただしKafka業界普及度が圧倒的優位。RabbitMQ（2007年OSS）はAMQP標準+メッセージブローカ+小規模～中規模向け、Kafkaは大規模ストリーミング特化で住み分け。Amazon Kinesis+Google Pub/SubはクラウドManaged Kafka代替で、ベンダーロックイン考慮。
Q1: なぜKafkaが業界標準？ A: ①LinkedIn実証済み大規模スループット、②Apache OSS+Confluent商業化のバランス、③Kafka Streams+Connect+ksqlDB統合、④主要クラウド全社統合、⑤Fortune 500企業80%採用の累積エコシステム、の5要素複合で2014-2026年クラウドネイティブ業界事実上標準として確立。
Q2: ZooKeeperからKRaftへ？ A: Apache ZooKeeper（メタデータ管理）の運用複雑性+Kafkaクラスタとの依存性が課題、Kafka 2.8（2021年）でKRaft（Kafka Raft）プレビュー+Kafka 4.0（2025年Q1予定）で完全置換。運用シンプル化+起動時間短縮。
Q3: 自宅で学習開始するには？ A: Docker Compose+Apache Kafka 3.x単一Broker構成（学習用）→3 Broker クラスタ（本格学習）→Confluent Cloud Free Tier（クラウドハンズオン）の3段階推奨。