複数のLLM呼び出し・ツール連携・条件分岐・エラーハンドリングを統合的に管理し、複雑なAIワークフローを構築・実行する技術体系。
LLMオーケストレーションは、単一のLLM呼び出しでは完結しない複雑なタスクを、複数のLLM呼び出し・外部ツール・データソースを組み合わせて実現する技術である。2024年以降、LLMの能力向上に伴い「1回のプロンプトで全てを解決する」アプローチの限界が明らかになり、複数ステップを協調させるオーケストレーション層の重要性が急速に高まった。
LLMオーケストレーションは以下の要素で構成される。
| 構成要素 | 役割 | 具体例 |
|---|---|---|
| ルーティング | 入力に応じて最適なLLMやツールに振り分け | GPT-4oで複雑な推論、Haiku 4.5で簡易応答 |
| チェイニング | 前段の出力を次段の入力として連鎖 | 要約→翻訳→品質チェック |
| 並列実行 | 独立したタスクを同時処理 | 3つの観点で同時にレビュー |
| 条件分岐 | 中間結果に基づいて処理経路を変更 | スコア80未満なら再生成 |
| エラーハンドリング | 失敗時のリトライ・フォールバック | Claude障害時にGPT-4oへ切替 |
| 状態管理 | ワークフロー全体の進捗・中間結果を保持 | 会話履歴・タスク完了状態 |
LangChainは2022年末に登場したLLMオーケストレーションの先駆的フレームワークである。チェーン（Chain）の概念で逐次処理を、エージェント（Agent）の概念で動的な判断を実装できる。2024年にはLangGraphが追加され、有向グラフとしてワークフローを定義する宣言的なアプローチが可能になった。Python/TypeScriptの両方をサポートし、LangSmithによる実行トレース・デバッグ・評価のエコシステムも充実している。
CrewAIは「AIクルー」の概念を導入し、役割（Role）・目標（Goal）・バックストーリー（Backstory）を持つ複数のエージェントが協調して作業するフレームワークである。人間のチーム編成をメタファーにしているため直感的で、マネージャー・リサーチャー・ライターなどの役割分担を簡潔に記述できる。
Microsoftが開発したAutoGen（現AG2）は、マルチエージェント会話を中心としたフレームワークである。エージェント同士がメッセージを交換しながらタスクを遂行する対話型アプローチが特徴で、人間がエージェント間の会話に介入するHuman-in-the-Loopも自然に実装できる。
Anthropicが提供するClaude Codeは、開発タスクに特化したLLMオーケストレーションの実装例である。コード読解→計画→実装→テスト→コミットの一連のワークフローを自律的に実行し、必要に応じてサブエージェントを起動する。2026年にはClaude Agent SDKとしてオーケストレーション機能がAPI化された。
最も単純なパターンで、ステップを順番に実行する。各ステップの出力が次のステップの入力になる。文書要約→キーポイント抽出→FAQ生成のような直線的なワークフローに適している。
入力を複数の並列タスクに分散（ファンアウト）し、全結果を集約（ファンイン）するパターン。コードレビューで「セキュリティ」「パフォーマンス」「可読性」を同時にチェックし、最後に統合レポートを生成するケースが典型例である。
生成結果が品質基準を満たすまで繰り返すパターン。自己改善ループ（生成→評価→フィードバック→再生成）はLLMの出力品質を大幅に向上させるが、無限ループ防止のため最大イテレーション数の設定が必須である。
オーケストレーションでは複数回のLLM呼び出しが発生するため、コスト管理が重要になる。ルーティング層で入力の複雑さを判定し、簡易な質問にはHaiku 4.5（$0.80/1M入力トークン）、複雑な推論にはOpus 4（$15/1M入力トークン）を振り分けるコスト最適化戦略が一般的である。プロンプトキャッシュの活用で共通のシステムプロンプト部分を90%削減できるケースもある。
オーケストレーションは事前定義されたワークフローに沿って複数のLLM呼び出しを管理する概念。エージェントはLLMが自律的に次のアクションを決定する概念。実際にはエージェントがオーケストレーション層の上で動作するケースが多く、両者は相補的な関係にある。
プロトタイピング重視ならLangChain、マルチエージェント対話ならCrewAIまたはAutoGen、プロダクション品質のワークフローならLangGraphが現時点での推奨。ただし2026年時点でフレームワークの淘汰が進んでおり、薄いラッパーで直接API呼び出しを管理するアプローチも増えている。
シンプルな3ステップパイプラインで1リクエストあたり$0.01〜$0.05程度。複雑なマルチエージェントワークフローでは$0.50〜$5.00に達することもある。コスト管理にはモデルルーティング・キャッシュ・早期終了条件の設定が有効。