AI・機械学習
上級

Tree of Thoughts(ToT)(ツリーオブソーツ)

LLMの推論をツリー構造で複数ブランチ展開し、各ノードを評価・探索するフレームワーク。Chain-of-Thoughtの線形推論を超え、バックトラック・最良優先探索でより難解な問題を解く。Princeton/Google 2023。

0 回閲覧
0 いいね
2026/6/6 更新
関連タグ
tree-of-thought
llm-reasoning
bfs
dfs
search-algorithm

Tree of Thoughts(ToT)とは

Tree of Thoughts(ToT)は2023年にPrinceton/GoogleのShunyu Yao, Dian Yu et al.が提唱したLLM推論フレームワーク。従来のChain-of-Thought(CoT)が単一の直線的な推論を行うのに対し、ToTは思考をツリー構造として複数のブランチに展開し、評価・探索を繰り返して最適解を見つける。

CoT vs ToT の構造比較

【Chain-of-Thought(線形)】
Start → Step1 → Step2 → Step3 → Answer

【Tree of Thoughts(ツリー)】
         Start
        /  |  \
     S1a  S1b  S1c   <- 複数候補生成
    / \    |    \
  S2a S2b S2c  S2d  <- 各ブランチを評価
   x   o   x    x   <- 有望なブランチのみ続行
        |
     Answer

ToTの4つのコンポーネント

  1. 思考の分解(Decomposition): 問題をToTノードに分解可能な思考ステップに定義
  2. 思考の生成(Generation): 各ノードから複数の次ステップ候補を生成
  3. 状態の評価(Evaluation): 各ノードの有望度をLLM自身(または外部評価器)で判定
  4. 探索アルゴリズム(Search): BFS/DFS/MCTSなどで有望なブランチを優先探索

論文でのベンチマーク結果(Yao et al. 2023)

タスク標準IOCoTToT
24ゲーム(数学パズル)7.3%4.0%74%
24ゲーム(GPT-4使用)-4%87%
クリエイティブライティング2.5/5.62.5/5.63.5/7.2
クロスワード16%7%60%

特に24ゲームでCoT比20倍以上の成功率を達成。

実用上の課題

  • コスト: 1問あたりのLLM呼び出し数がCoT比10〜100倍増加
  • 速度: ブランチ探索のため応答が遅い
  • 思考定義: タスクに応じたToTノード定義が必要
  • 実装複雑性: 標準APIより高い実装コスト

2025年現在、o1/o3系の内部推論(Extended Thinking)がToT的アプローチをモデル内部で実施するため、明示的ToT実装の必要性が低下している。

よくある質問(FAQ)

Q1: o1/o3とToTの違いは何ですか? A: o1/o3はモデルが内部で思考トークンを生成しToT的探索を行う。外部からはその過程が見えない。一方ToTはプロンプトエンジニアリング技術であり、既存モデルに適用可能。

Q2: どんなタスクでToTが有効ですか? A: バックトラックが必要な探索問題(パズル・プランニング)・創作の多案比較・複数仮説の並列検証。単純な質問応答やCoTで解ける算数問題にはオーバースペック。

Q3: LangGraphなどのフレームワークでToTを使えますか? A: LangGraphのStateGraphでToTのノード構造を実装可能。各ノードがLLM呼び出し、エッジが評価スコアによる分岐として表現できる。

まとめ

  • 発祥: Princeton/Google Yao et al. 2023
  • 強み: CoTが解けない探索問題で圧倒的な精度
  • 弱点: API呼び出し数増大によるコスト・遅延
  • 2025年: o1/Claude Extended Thinkingで内部実装が主流化
この記事について
カテゴリーAI・機械学習
難易度上級
作成日2026/6/6