Fluent Bit（フルエントビット）

概要

Fluent Bit(フルエント ビット)は、Treasure Data(米トレジャーデータ社、2011 年シリコンバレー創業の Tomohiko Suga + Kiyoto Tamura ら日本系 CDP 会社)が 2015 年に公開、後年 CNCF Graduated プロジェクト(2024 年昇格)として CNCF 標準化された軽量 + 高性能なログ転送 + 集約エージェントです。

開発の経緯は、(1)Treasure Data が 2011 年に Fluentd(Ruby + C 製の汎用ログ集約エージェント)を公開、CNCF プロジェクトとして大成功・(2)Fluentd は柔軟性 + プラグイン豊富(1,500+)で広く採用されたが、Ruby ランタイムのメモリ消費(約 40MB)+ パフォーマンスの限界が IoT / エッジ / 高負荷環境で課題に・(3)2015 年に Eduardo Silva(Treasure Data エンジニア)主導で C/C++ 完全リライト版「Fluent Bit」を開発開始・(4)2017 年に v1.0 公開、CNCF プロジェクト化・(5)2024 年 CNCF Graduated 昇格、というパスでした。

技術仕様は、(1)実装言語: C/C++(Fluentd は Ruby + C)・(2)メモリ消費: 450KB-数 MB(Fluentd の 1/100 以下)・(3)対応 OS: Linux / Windows / macOS / FreeBSD / Docker / Kubernetes / IoT(ARM / RISC-V)・(4)スループット: 100,000+ events/sec/instance(IoT デバイスでも数千 events/sec)・(5)プラグイン: 入力 80+ / フィルタ 30+ / 出力 70+ で柔軟なログパイプライン、です。

主要プラグインは、(1)入力: systemd / docker / kubernetes / tail(ファイル)/ kafka / forward(Fluentd 互換)/ random / dummy・(2)フィルタ: parser(JSON / Regex / LTSV)/ record_modifier / lua(カスタムロジック)・(3)出力: Elasticsearch / Grafana Loki / Splunk / Datadog / AWS S3 / GCP BigQuery / Apache Kafka / OpenSearch / Sentry / Slack、などです。

最大の特徴は超軽量性です。Fluentd と比較して、(1)メモリ消費 1/100 以下(450KB vs 40MB)・(2)CPU 使用率 1/3 以下・(3)起動時間ミリ秒級・(4)依存関係なし(単一バイナリ)、を実現しました。これにより、Raspberry Pi 5(1GB RAM)や ESP32 マイコン + Linux IoT デバイス + Kubernetes Sidecar コンテナでも動作可能で、エッジコンピューティング + IoT + 大規模 Kubernetes クラスタの ログエージェントとして主流化しました。

主な採用は、(1)Kubernetes の DaemonSet ログ収集(Pod ログ → Fluent Bit → Loki / Elasticsearch / Splunk)・(2)IoT / エッジゲートウェイ(センサデータ集約 → クラウド転送)・(3)AWS Fargate / ECS / EKS / Lambda の標準ログエージェント・(4)Datadog / New Relic / Splunk の AWS 公式統合・(5)Microsoft Azure Container Insights・(6)各種オンプレサーバ + クラウドサーバ、です。

CNCF Graduated 昇格(2024)により、本番運用 + エンタプライズ採用 + 長期サポートが保証されており、現代のクラウドネイティブ + 観測スタックの中核ログエージェントとして 2024-2030 年に主流化が予想されます。

主な特徴・仕組み

• 公開: Treasure Data 2015 年開始、2017 v1.0、2024 CNCF Graduated。
• 開発主導: Eduardo Silva(現 Calyptia 共同創業)。
• 実装言語: C/C++、ライセンス Apache 2.0。
• メモリ消費: 450KB-数 MB(Fluentd の 1/100)。
• スループット: 100,000+ events/sec。
• 対応 OS: Linux / Windows / macOS / FreeBSD / Docker / Kubernetes / IoT。
• プラグイン: 入力 80+ / フィルタ 30+ / 出力 70+。
• 主要採用: Kubernetes DaemonSet / IoT エッジ / AWS / Azure / Datadog / Splunk。
• Fluentd 関係: 兄弟プロジェクト、Fluentd は柔軟性、Fluent Bit は軽量性。
• 開発企業: Treasure Data → 後年 Calyptia(2021 共同創業 → 2024 New Relic 買収)。
• バージョン: 現在 v3.x(2024-2026)。

Fluent Bit / 競合ログエージェント比較

自作PCユーザー向けの注意点

Fluent Bit は通常のコンシューマ自作 PC で必要になる技術ではありませんが、ホビーホームラボ + 自宅 Kubernetes 環境 + IoT プロジェクト + Linux サーバ管理の上級者には極めて有用です。Docker / Kubernetes 環境で fluent-bit をサイドカーまたは DaemonSet としてデプロイすることで、コンテナログを Loki / Elasticsearch / Splunk 等の集約バックエンドに転送できます。

Raspberry Pi 5 + IoT センサ + Fluent Bit の組合せで、自宅 IoT データを AWS S3 / Loki / Elasticsearch にリアルタイム集約する DIY プロジェクトも人気です。設定ファイル(YAML / Classic)が比較的シンプル + 公式ドキュメント + Slack / GitHub コミュニティが活発で、初学者でも本格的な業務級ログ基盤を学習できます。

関連用語との違い

• Fluentd: 兄弟プロジェクト、Ruby 製で柔軟性。
• Logstash: ELK スタックの一部、Java 製で重量。
• Vector: Rust 製の高性能代替、Datadog 開発。
• Promtail: Grafana Loki 純正エージェント、Loki 専用最適化。
• Filebeat: Elastic 純正、ELK スタック専用。

よくある質問(FAQ)

Q1: Fluentd と Fluent Bit どちらを選ぶべきですか? A: 軽量 + IoT + Kubernetes + エッジ → Fluent Bit。柔軟性 + 多数プラグイン + サーバ集約 → Fluentd。両者は兄弟プロジェクトで、Treasure Data 内では Fluent Bit が 2020 年代の主軸となっています。

Q2: 競合 Vector / Promtail との違いは? A: Fluent Bit は最も軽量(450KB)+ プラグインエコシステム最大、Vector は Rust + より高性能、Promtail は Loki 専用最適化です。汎用性 + コミュニティ規模で Fluent Bit が現代の標準選択です。

Q3: 自宅 Kubernetes で試す方法は? A: Helm Chart で 1 コマンドデプロイ可能(helm install fluent-bit fluent/fluent-bit)。DaemonSet として全 Node に配置 + Loki / Grafana 統合で完全な観測基盤を構築できます。Docker Compose 環境でも docker run -d -v config:/fluent-bit/etc fluent/fluent-bit:latest で簡単起動です。

まとめ

• Treasure Data 2015 公開 + CNCF Graduated 2024
• C/C++ 軽量 + メモリ 450KB + 100,000 events/sec
• Kubernetes / IoT / エッジコンピューティングで主流
• 80+ 入力 + 30+ フィルタ + 70+ 出力プラグイン