AI・機械学習
上級
Tree of Thoughts(ToT)(ツリーオブソーツ)
LLMの推論をツリー構造で複数ブランチ展開し、各ノードを評価・探索するフレームワーク。Chain-of-Thoughtの線形推論を超え、バックトラック・最良優先探索でより難解な問題を解く。Princeton/Google 2023。
0 回閲覧
0 いいね
2026/6/6 更新
関連タグ
tree-of-thought
llm-reasoning
bfs
dfs
search-algorithm
Tree of Thoughts(ToT)とは
Tree of Thoughts(ToT)は2023年にPrinceton/GoogleのShunyu Yao, Dian Yu et al.が提唱したLLM推論フレームワーク。従来のChain-of-Thought(CoT)が単一の直線的な推論を行うのに対し、ToTは思考をツリー構造として複数のブランチに展開し、評価・探索を繰り返して最適解を見つける。
CoT vs ToT の構造比較
【Chain-of-Thought(線形)】
Start → Step1 → Step2 → Step3 → Answer
【Tree of Thoughts(ツリー)】
Start
/ | \
S1a S1b S1c <- 複数候補生成
/ \ | \
S2a S2b S2c S2d <- 各ブランチを評価
x o x x <- 有望なブランチのみ続行
|
Answer
ToTの4つのコンポーネント
- 思考の分解(Decomposition): 問題をToTノードに分解可能な思考ステップに定義
- 思考の生成(Generation): 各ノードから複数の次ステップ候補を生成
- 状態の評価(Evaluation): 各ノードの有望度をLLM自身(または外部評価器)で判定
- 探索アルゴリズム(Search): BFS/DFS/MCTSなどで有望なブランチを優先探索
論文でのベンチマーク結果(Yao et al. 2023)
| タスク | 標準IO | CoT | ToT |
|---|---|---|---|
| 24ゲーム(数学パズル) | 7.3% | 4.0% | 74% |
| 24ゲーム(GPT-4使用) | - | 4% | 87% |
| クリエイティブライティング | 2.5/5.6 | 2.5/5.6 | 3.5/7.2 |
| クロスワード | 16% | 7% | 60% |
特に24ゲームでCoT比20倍以上の成功率を達成。
実用上の課題
- コスト: 1問あたりのLLM呼び出し数がCoT比10〜100倍増加
- 速度: ブランチ探索のため応答が遅い
- 思考定義: タスクに応じたToTノード定義が必要
- 実装複雑性: 標準APIより高い実装コスト
2025年現在、o1/o3系の内部推論(Extended Thinking)がToT的アプローチをモデル内部で実施するため、明示的ToT実装の必要性が低下している。
よくある質問(FAQ)
Q1: o1/o3とToTの違いは何ですか? A: o1/o3はモデルが内部で思考トークンを生成しToT的探索を行う。外部からはその過程が見えない。一方ToTはプロンプトエンジニアリング技術であり、既存モデルに適用可能。
Q2: どんなタスクでToTが有効ですか? A: バックトラックが必要な探索問題(パズル・プランニング)・創作の多案比較・複数仮説の並列検証。単純な質問応答やCoTで解ける算数問題にはオーバースペック。
Q3: LangGraphなどのフレームワークでToTを使えますか? A: LangGraphのStateGraphでToTのノード構造を実装可能。各ノードがLLM呼び出し、エッジが評価スコアによる分岐として表現できる。
まとめ
- 発祥: Princeton/Google Yao et al. 2023
- 強み: CoTが解けない探索問題で圧倒的な精度
- 弱点: API呼び出し数増大によるコスト・遅延
- 2025年: o1/Claude Extended Thinkingで内部実装が主流化