LLMに複数の推論経路を木構造で探索させ、各分岐を自己評価しながら最適な解法を選択するプロンプト技法。Chain-of-Thoughtの拡張版で、複雑な問題解決・計画立案タスクに有効。
Tree-of-Thought（ToT）プロンプティングは、2023年にプリンストン大学のYao et al.が提案した推論フレームワークで、LLMに複数の思考経路を木構造として展開させ、各ノード（中間状態）を評価しながら最適な解法を探索するプロンプト技法です。従来の Chain-of-Thought（CoT）が単一の線形な推論パスを辿るのに対し、ToT は幅優先探索（BFS）や深さ優先探索（DFS）のアルゴリズムを応用して複数の候補を並行評価します。
| 特性 | Chain-of-Thought | Tree-of-Thought |
|---|---|---|
| 推論構造 | 線形（1パス） | 木構造（複数パス） |
| バックトラック | 不可 | 可能（行き詰まりで戻れる） |
| 自己評価 | なし | 各ステップで有望度を評価 |
| API コスト | 低い（1回の推論） | 高い（複数回の推論） |
| 適用タスク | 算術・基本推論 | パズル・計画・創作 |
| 精度向上 | CoTなし比+20〜40% | CoT比+10〜30%（複雑タスク） |
ToT の動作は以下の4ステップで構成されます。
1回のプロンプトで ToT を模倣する方法です。「3つの異なるアプローチを考え、それぞれの長所短所を評価し、最も有望なアプローチを選んで回答してください」といった指示で擬似的に木構造探索を行います。API コストが低く、簡単に導入できます。
プログラムから LLM API を繰り返し呼び出し、各ステップの候補生成→評価→探索をプログラム的に制御する方法です。LangChain の TreeOfThought クラスや、OpenAI の Function Calling を組み合わせて実装します。精度は高いですが、API コールが数十回に達するためコストとレイテンシが増大します。
ToT が CoT を大幅に上回る成果を示したタスクとして、24ゲーム（4つの数字で24を作る）、クリエイティブライティング、クロスワードパズル、コード設計が挙げられます。原論文では 24ゲームにおいて CoT の成功率4%に対し ToT が74%を達成しました。
一方、単純な算術問題や事実質問のような線形推論で十分なタスクでは、ToT のオーバーヘッドに見合う精度向上が得られないため、CoT で十分です。
A: コード生成の設計段階（複数のアーキテクチャ候補を比較検討）や、マーケティングコピーのバリエーション生成と評価などで活用されています。ただし API コストが高いため、1回のリクエストが高価値なタスクに限定されることが多いです。
A: Self-Consistency は同じ問題に対して CoT を複数回実行し、多数決で回答を決定する手法です。各推論パスは独立していて相互作用しません。ToT は推論の各ステップで分岐と評価を行い、探索を動的に制御するため、より構造的なアプローチです。
A: タスクの深さと分岐数に依存しますが、一般的に CoT の5〜20倍のトークン消費になります。深さ3・幅3の探索で、GPT-4o を使った場合1回のタスク解決に$0.10〜0.50程度のコストがかかります。