BentoML（ベントエムエル）
Pythonで書かれたMLモデルサービングフレームワーク。モデルのパッケージング（Bento）、APIサーバー構築、コンテナ化、クラウドデプロイまでを一貫して管理する。PyTorch、TensorFlow、Hugging Face Transformers、scikit-learn等の主要フレームワークに対応し、LLMサービング機能（OpenLLM）も統合されている。
BentoMLとは
BentoML（ベントエムエル）は、MLモデルをプロダクション環境にデプロイするためのオープンソースフレームワークである。モデルの保存・パッケージング・APIサーバー構築・コンテナ化・デプロイを統合的に管理し、「学習済みモデルをAPI化する」プロセスを大幅に簡素化する。
名前の由来は日本語の「弁当」で、モデルとその依存関係をきれいにパッケージングして「持ち運べる」ようにするという意味が込められている。
BentoMLのアーキテクチャ
| コンポーネント | 役割 | 説明 |
|---|---|---|
| Service | APIサービス定義 | Pythonデコレータでエンドポイントを定義 |
| Model Store | モデル管理 | バージョン管理されたモデルリポジトリ |
| Bento | パッケージ | モデル+コード+依存関係の配布単位 |
| Runner | 推論実行 | GPU/CPUリソース上での推論処理 |
| BentoCloud | マネージドデプロイ | BentoML公式クラウドプラットフォーム |
主要機能
Pythonicなサービス定義: Pythonのデコレータ（@bentoml.service、@bentoml.api）でAPIエンドポイントを宣言的に定義。FastAPIライクな開発体験で、MLエンジニアにとって学習コストが低い。
マルチフレームワーク対応: PyTorch、TensorFlow、JAX、scikit-learn、XGBoost、LightGBM、Hugging Face Transformers等の主要MLフレームワークをネイティブサポート。異なるフレームワークで学習したモデルを同一のBentoMLサービス内で組み合わせることも可能。
Adaptive Batching: リクエストを自動的にバッチ化して推論効率を向上。バッチサイズとタイムアウトを設定し、リクエストの到着パターンに応じて動的にバッチを構成する。画像分類やテキスト埋め込みなど、バッチ処理が効果的なタスクでスループットを5〜10倍向上。
コンテナ化とデプロイ: bentoml containerizeでDockerイメージを自動生成。生成されたイメージはKubernetes、AWS ECS/EKS、GCP Cloud Run、Azure Container Instances等にデプロイ可能。BentoCloud（マネージドサービス）ではGPUインスタンスの自動スケーリングが提供される。
OpenLLM — LLMサービング統合
BentoMLのLLMサービング拡張「OpenLLM」は、Hugging Face上のLLMをBentoMLのエコシステム内でサービングする機能を提供する。vLLMバックエンド統合、量子化（GPTQ/AWQ/GGUF）対応、OpenAI互換API出力を備える。
対応モデル例: Llama 3.1、Mistral、Phi-3、Qwen 2.5、Gemma 2
競合フレームワークとの比較
| 特徴 | BentoML | TorchServe | TFServing | Seldon Core |
|---|---|---|---|---|
| マルチフレームワーク | ○ | PyTorchのみ | TFのみ | ○ |
| Python API | ○（Pythonic） | △（設定ファイル中心） | × | △ |
| LLMサービング | ○（OpenLLM） | △ | × | △ |
| コンテナ化 | 自動 | 手動 | 自動 | 自動 |
| バッチング | Adaptive | 固定 | 固定 | カスタム |
| 学習コスト | 低い | 中程度 | 高い | 高い |
よくある質問
Q1: BentoMLはvLLMやTGIの代替ですか？
代替ではなく補完的な関係である。vLLM/TGIはLLM推論エンジン（高速なトークン生成に特化）、BentoMLはサービングフレームワーク（モデルのパッケージング・デプロイ・管理に特化）。BentoMLのOpenLLMはバックエンドにvLLMを使用しており、vLLMの推論性能をBentoMLのデプロイ管理と組み合わせて利用する構成が推奨される。
Q2: BentoMLの学習コストはどの程度ですか？
Pythonの基本知識があれば、公式チュートリアル（Hello World → カスタムモデル → LLMサービング）を2〜3時間で完了できる。FastAPIの経験があればデコレータベースのAPI定義にすぐ馴染める。本番デプロイ（Kubernetes + GPU管理）にはインフラ知識が追加で必要。
Q3: BentoCloudは必須ですか？
不要。BentoMLはOSSとして完全に機能し、bentoml containerizeでDockerイメージを生成してKubernetes等に自前でデプロイできる。BentoCloudはGPUオートスケーリング・モニタリング・チーム管理等のマネージド機能を提供する有料サービスで、運用負荷を軽減したい場合に有用。