Treasure Data 由来の CNCF プロジェクト、軽量 + 高性能ログ転送エージェント。Fluentd の C++ 軽量版で Kubernetes / IoT / エッジコンピューティングで広く採用、メモリ 450KB 級で動作。
Fluent Bit(フルエント ビット)は、Treasure Data(米トレジャーデータ社、2011 年シリコンバレー創業の Tomohiko Suga + Kiyoto Tamura ら日本系 CDP 会社)が 2015 年に公開、後年 CNCF Graduated プロジェクト(2024 年昇格)として CNCF 標準化された軽量 + 高性能なログ転送 + 集約エージェントです。
開発の経緯は、(1)Treasure Data が 2011 年に Fluentd(Ruby + C 製の汎用ログ集約エージェント)を公開、CNCF プロジェクトとして大成功・(2)Fluentd は柔軟性 + プラグイン豊富(1,500+)で広く採用されたが、Ruby ランタイムのメモリ消費(約 40MB)+ パフォーマンスの限界が IoT / エッジ / 高負荷環境で課題に・(3)2015 年に Eduardo Silva(Treasure Data エンジニア)主導で C/C++ 完全リライト版「Fluent Bit」を開発開始・(4)2017 年に v1.0 公開、CNCF プロジェクト化・(5)2024 年 CNCF Graduated 昇格、というパスでした。
技術仕様は、(1)実装言語: C/C++(Fluentd は Ruby + C)・(2)メモリ消費: 450KB-数 MB(Fluentd の 1/100 以下)・(3)対応 OS: Linux / Windows / macOS / FreeBSD / Docker / Kubernetes / IoT(ARM / RISC-V)・(4)スループット: 100,000+ events/sec/instance(IoT デバイスでも数千 events/sec)・(5)プラグイン: 入力 80+ / フィルタ 30+ / 出力 70+ で柔軟なログパイプライン、です。
主要プラグインは、(1)入力: systemd / docker / kubernetes / tail(ファイル)/ kafka / forward(Fluentd 互換)/ random / dummy・(2)フィルタ: parser(JSON / Regex / LTSV)/ record_modifier / lua(カスタムロジック)・(3)出力: Elasticsearch / Grafana Loki / Splunk / Datadog / AWS S3 / GCP BigQuery / Apache Kafka / OpenSearch / Sentry / Slack、などです。
最大の特徴は超軽量性です。Fluentd と比較して、(1)メモリ消費 1/100 以下(450KB vs 40MB)・(2)CPU 使用率 1/3 以下・(3)起動時間ミリ秒級・(4)依存関係なし(単一バイナリ)、を実現しました。これにより、Raspberry Pi 5(1GB RAM)や ESP32 マイコン + Linux IoT デバイス + Kubernetes Sidecar コンテナでも動作可能で、エッジコンピューティング + IoT + 大規模 Kubernetes クラスタの ログエージェントとして主流化しました。
主な採用は、(1)Kubernetes の DaemonSet ログ収集(Pod ログ → Fluent Bit → Loki / Elasticsearch / Splunk)・(2)IoT / エッジゲートウェイ(センサデータ集約 → クラウド転送)・(3)AWS Fargate / ECS / EKS / Lambda の標準ログエージェント・(4)Datadog / New Relic / Splunk の AWS 公式統合・(5)Microsoft Azure Container Insights・(6)各種オンプレサーバ + クラウドサーバ、です。
CNCF Graduated 昇格(2024)により、本番運用 + エンタプライズ採用 + 長期サポートが保証されており、現代のクラウドネイティブ + 観測スタックの中核ログエージェントとして 2024-2030 年に主流化が予想されます。
| エージェント | 言語 | メモリ | 主な用途 |
|---|---|---|---|
| Fluent Bit | C/C++ | 450KB-数MB | Kubernetes / IoT / エッジ |
| Fluentd | Ruby + C | 40MB | 汎用 + 柔軟プラグイン |
| Logstash |
| JRuby + Java |
| 500MB-1GB |
| ELK スタック |
| Vector | Rust | 数 MB | DataDog 系 + 高性能 |
| Filebeat | Go | 100MB | Elastic 純正 |
| Promtail | Go | 50MB | Grafana Loki 純正 |
Fluent Bit は通常のコンシューマ自作 PC で必要になる技術ではありませんが、ホビーホームラボ + 自宅 Kubernetes 環境 + IoT プロジェクト + Linux サーバ管理の上級者には極めて有用です。Docker / Kubernetes 環境で fluent-bit をサイドカーまたは DaemonSet としてデプロイすることで、コンテナログを Loki / Elasticsearch / Splunk 等の集約バックエンドに転送できます。
Raspberry Pi 5 + IoT センサ + Fluent Bit の組合せで、自宅 IoT データを AWS S3 / Loki / Elasticsearch にリアルタイム集約する DIY プロジェクトも人気です。設定ファイル(YAML / Classic)が比較的シンプル + 公式ドキュメント + Slack / GitHub コミュニティが活発で、初学者でも本格的な業務級ログ基盤を学習できます。
Q1: Fluentd と Fluent Bit どちらを選ぶべきですか? A: 軽量 + IoT + Kubernetes + エッジ → Fluent Bit。柔軟性 + 多数プラグイン + サーバ集約 → Fluentd。両者は兄弟プロジェクトで、Treasure Data 内では Fluent Bit が 2020 年代の主軸となっています。
Q2: 競合 Vector / Promtail との違いは? A: Fluent Bit は最も軽量(450KB)+ プラグインエコシステム最大、Vector は Rust + より高性能、Promtail は Loki 専用最適化です。汎用性 + コミュニティ規模で Fluent Bit が現代の標準選択です。
Q3: 自宅 Kubernetes で試す方法は?
A: Helm Chart で 1 コマンドデプロイ可能(helm install fluent-bit fluent/fluent-bit)。DaemonSet として全 Node に配置 + Loki / Grafana 統合で完全な観測基盤を構築できます。Docker Compose 環境でも docker run -d -v config:/fluent-bit/etc fluent/fluent-bit:latest で簡単起動です。