STILL-2（スティル ツー）
RUC-AIBox（中国人民大学）が開発した「Slow Thinking with LLMs」研究の第2版。テスト時計算（Test-Time Compute）を数学推論に特化し、MCTSで生成した長形式思考データとBest-of-N検証でAIME 2024で40.0%・MATH-500で90.1%を達成したフレームワーク。
STILL-2 とは
STILL-2（Slow Thinking Inference via Lighting Up Long-form Thinking II）は、中国人民大学のRUC-AIBoxグループが2024年11〜12月に発表した数学推論フレームワーク。「Slow Thinking with LLMs」研究シリーズの第2版として、テスト時に多くの計算リソースを費やして深く考えるTest-Time Compute Scalingを体系化した。
Slow Thinkingとは
Fast Thinking（高速思考）: 1回のフォワードパスで即座に回答。計算コスト最小。
Slow Thinking（低速思考）: 複数ステップの内部推論を経てから回答。計算コスト大、品質高。数学・コーディング・論理パズルに適合。
OpenAI o1・DeepSeek-R1・QwQ-32BはいずれもSlow Thinkingパラダイムを採用している。
STILL-2のアプローチ
1. MCTSによる思考データ生成
- コンテスト問題のシード: AMC・AIME・数学オリンピック問題
- モンテカルロ木探索（MCTS）: 思考ツリーを探索して高品質推論パスを発見
- 自動フィルタリング: Python実行可能問題のみ採用
2. Slow Thinking SFT
<thinking>
問題をnumerical代入で確認します。x=1を試すと...
Wait, let me reconsider — 符号の扱いが違います。
修正して x=2 を試すと... (ステップの自己修正)
</thinking>
答え: 5
3. Best-of-N + PRM検証
推論時にN個の候補解答を生成し、Process Reward Modelで最良を選択。
性能指標
| モデル | AIME 2024 | MATH-500 | AMC 2023 |
|---|---|---|---|
| STILL-2（7B） | 40.0% | 90.1% | 72.5% |
| DeepSeek-R1（7B蒸留） | 55.5% | 92.8% | - |
| QwQ-32B | 50.0% | 90.6% | 78.5% |
| GPT-4o | 9.3% | 74.6% | 48.8% |
STILL-2は7B規模で40%を達成し、同規模の純粋SFTモデル（~16%）を大幅に超える。
STILL-1との違い
| 特徴 | STILL-1（2024年9月） | STILL-2（2024年12月） |
|---|---|---|
| ベースモデル | Qwen2-72B | Qwen2.5-Math-7B/72B |
| 学習データ | 外部長形式データ | MCTS生成合成データ |
| AIME 2024 | 28.3% | 40.0% |
実用上の注意
- 推論コスト: Slow Thinkingは通常の3〜10倍のトークンを消費
- レイテンシ: 30秒〜数分の応答時間が発生するケースがある
- 適用範囲: 高難度の数学・コーディングで効果大。日常会話では過剰
FAQ
Q: STILL-2のモデル重みはどこで入手できるか？ A: Qwen2.5-Math-7B/72B-InstructベースのモデルがHugging Face「RUC-AIBOX/STILL-2」で公開されている。
Q: OpenAI o1とSTILL-2の関係は？ A: o1はOpenAIの非公開実装。STILL-2はo1的なSlow Thinkingを学術的に再現・解析したオープンリサーチ。
Q: ローカルで動かせるか？ A: vLLM・LLaMA.cppで実行可能。Slow Thinkingによるトークン生成量が多いため、7Bモデルで24GB VRAM以上推奨。