AI・機械学習
上級
Test-Time Training (TTT)（テストタイムトレーニング）
推論時に入力データを使ってモデルを一時的に更新する技術。訓練後の静的モデルでは対応できない分布外データへの適応を可能にし、長文脈・ドメイン外タスクで効果を発揮する。
0 回閲覧
0 いいね
2026/6/7 更新
関連タグ
テスト時訓練
適応
自己教師あり学習
長文脈
分布外データ
Test-Time Training (TTT)
Test-Time Training（TTT）は、推論フェーズ中にモデルのパラメータを入力データに合わせて一時的に更新する技術です。従来の「訓練 → 固定 → 推論」という静的パイプラインを根本から覆す考え方です。
従来手法との違い
| アプローチ | 訓練時 | 推論時 | 適応性 |
|---|---|---|---|
| 標準ファインチューニング | パラメータ更新 | 固定 | 低（静的） |
| In-Context Learning | 固定 | プロンプト依存 | 中（プロンプト内） |
| Test-Time Training | 固定 | パラメータ更新 | 高（動的適応） |
TTTの仕組み
- ベースモデル: 通常のLLM（Transformerアーキテクチャ等）
- TTT目標: 推論入力を使った自己教師あり学習タスク（マスク予測・次トークン予測等）
- 勾配更新: 推論入力について少ステップのバックプロップ
- 予測: 更新後モデルで最終推論
TTT-Layerアーキテクチャ（2024年）
MIT・UCBerkeley等が2024年に発表した「Learning to (Learn at Test Time)」論文では、TTT計算をRNNの隠れ状態更新として定式化したTTT-Layerを提案。
- TTT-Linear: 線形モデルによる高速TTT。計算量O(n)
- TTT-MLP: 小型MLPによる非線形TTT。表現力向上
- スケーリング: Transformerと組み合わせたTTT-Hybridが長文脈で優位
ARC-AGIでの実証
2024年のARC Prize（ARC-AGI）コンペティションで、上位チームがTTTを採用。各問題の例示データでモデルを一時的にfine-tuningして精度を大幅改善しました。
- 静的LLM (GPT-4o): ~5%
- TTT適用後: 最大55%以上（Kaggle上位）
課題と限界
- 計算コスト: 推論毎に勾配更新が必要 → レイテンシ増大
- 過学習リスク: 少数例での更新は過適合しやすい
- 破滅的忘却: 長いTTTセッションでベースモデルが劣化
- スケーラビリティ: バッチ推論での並列化が難しい
自作PCでのTTT実験
RTX 4090搭載自作PCで小型モデル（7B〜13B）へのTTT実験が可能。PyTorchでoptimizer.step()をforwardパス内に組み込むことで実装できます。VRAM 24GBが勾配保持に必要なため、RTX 4090が実験の現実的な最低ラインです。
まとめ
Test-Time Trainingは「推論時にも学ぶ」という新しいパラダイムです。ARC-AGIでの成果が示すように、分布外タスクへの適応においてプロンプトエンジニアリングを超える可能性があります。