Chain-of-Thought プロンプティング（チェーンオブソートプロンプティング）

Chain-of-Thought プロンプティングとは

Chain-of-Thought（CoT）プロンプティングは、LLMに最終答えだけでなく途中の推論ステップを出力させるプロンプト設計手法。2022年にGoogleのJason Wei, Xuezhi Wang et al.が論文「Chain-of-Thought Prompting Elicits Reasoning in Large Language Models」で提唱した。

従来のスタンダードプロンプト:

Q: 太郎は5個のりんごを持っています。3個食べました。何個残っていますか？
A: 2個

CoTプロンプト（Few-shot）:

Q: 太郎は5個のりんごを持っています。3個食べました。何個残っていますか？
A: 最初に5個あります。3個食べたので、5 - 3 = 2。答えは2個です。

Q: 次の問題...
A: （モデルが同様のステップを再現）

効果のメカニズム

CoTが機能する理由として以下が考えられている:

• 中間状態の明示: 複数ステップの計算で各段階の値が保持される
• 自己検証の促進: ステップを書くことで誤りを自己発見しやすい
• 注意の集中: 各ステップに関連する情報へのアテンションが集中
• 訓練データとの整合: 数学的な証明過程・手順書がトレーニングデータに多い

Few-shot CoT の実装例

few_shot_cot_prompt = """
質問: ケーキを12個作るのに卵が3個必要です。48個のケーキを作るには卵が何個必要ですか？
回答: 12個のケーキに3個の卵が必要です。
48個のケーキは12×4倍なので、卵は3×4=12個必要です。
答え: 12個

質問: {user_question}
回答:
"""

パフォーマンス向上の実証データ

特に算数・数学系で効果が大きく、記号的推論・常識推論でも有効。

CoT が効果を発揮する条件

• モデルサイズ: ~100Bパラメータ以上で顕著な効果（小型モデルでは逆効果の場合あり）
• タスクの性質: 分解可能な多段推論タスク（算数・論理問題・コーディング）
• Few-shot例の質: 例示するCoTの思考ステップの質が直接影響

派生技術

• Zero-shot CoT: 例示なしの「Let's think step by step」
• Self-Consistency: 複数CoT生成→多数決
• Tree of Thoughts: 木構造で複数ブランチを探索
• Program of Thought: コードとして推論を記述
• Step-Back Prompting: 抽象化→具体化の2段階思考

よくある質問（FAQ）

Q1: Few-shot CoTとZero-shot CoTはどちらが良いですか？ A: GPT-4/Claude 3以上ではZero-shot CoT（「ステップごとに考えましょう」）だけで十分なことが多い。タスク固有の精度を最大化したい場合はFew-shot例を用意するのが確実。

Q2: CoTを使うとトークンコストが増えますか？ A: 増える。中間ステップを出力する分だけ出力トークンが増加（多くの場合2〜5倍）。コスト最適化にはCoT使用箇所を絞るか、Self-Consistencyの並列数を制限する。

Q3: 小型モデル（7B, 14B）でもCoTは有効ですか？ A: 部分的に有効。Qwen2.5-7B・Llama 3.1-8Bでも算数問題でCoT効果を確認。ただし規模の大きいモデルほど恩恵が大きく、3B以下では逆効果になる場合あり。

まとめ

• 発祥: Google Wei et al. 2022
• 効果: 算数・推論問題で正答率大幅改善
• 実装コスト: プロンプト修正のみ（モデル変更不要）
• 注意: 出力トークン増加によるコスト増・小型モデルでの効果限定