veRL（Volcano Engine Reinforcement Learning）（ブイイーアールエル）

veRL（Volcano Engine Reinforcement Learning）とは

veRL（Volcano Engine Reinforcement Learning）は、ByteDanceがVolcano Engine（火山エンジン）クラウドプラットフォーム向けに開発し、2025年にオープンソース公開したLLM強化学習訓練フレームワークです。GRPOやPPOなどのRL手法を使って数十億〜数千億パラメータのLLMをポストトレーニングするための、分散訓練インフラを提供します。

veRLが解決する課題

LLMの強化学習訓練は通常のSFT（Supervised Fine-Tuning）と異なる複雑さを持ちます：

1. マルチモデル管理 — 訓練中に参照モデル・アクターモデル・クリティックモデルを同時に管理
2. 非同期生成 — 応答サンプリング（推論）と方策更新（訓練）を効率的に交互実行
3. メモリ管理 — アクティベーション・KVキャッシュ・勾配が同時にメモリを消費
4. スケーラビリティ — 数百GPU規模での線形スケーリング

veRLはこれらをHybrid Parallel設計で解決します。

veRLのアーキテクチャ

Hybrid Parallel Engine（HPE）がveRLの核心で、訓練フェーズと生成フェーズで異なる並列戦略を動的に切り替えます：

訓練フェーズ（Megatron-LMバックエンド）ではテンソル並列（TP）で行列演算を複数GPU分割し、パイプライン並列（PP）でレイヤーを複数ノードに分散、データ並列（DP）でミニバッチを複数レプリカで処理します。生成フェーズ（vLLMバックエンド）ではPagedAttentionで高スループット推論を行い、Continuous Batchingで効率的なサンプリングを実現します。

Worker設計： veRLは以下のWorkerを疎結合で管理します：

• ActorWorker — 方策モデルを保持し訓練と推論を担当
• CriticWorker — PPO用のバリュー関数モデル
• ReferenceWorker — KLペナルティ計算用の参照モデル（固定）
• RewardWorker — 報酬関数の計算（カスタム拡張可能）

サポートするRLアルゴリズム

GRPOは報酬モデル不要でグループ相対報酬を使用します。PPOは標準的なCritic付きRLです。REINFORCEはシンプルなポリシーグラジェントで、ReMaxはPPOの軽量版です。

パフォーマンス特性

公式ベンチマーク（8×A100 80GB）での実測値：

• Llama-3-8B + GRPO: 約2,000 tokens/sec/GPU
• Qwen2.5-72B + GRPO: 約400 tokens/sec/GPU（16ノード）
• メモリ効率: Actorのみ保持で参照モデルオフロード時 約30%削減

OpenRLHFとの使い分け

OpenRLHFはDeepSpeed/FSDPバックエンドとDP+ZeROを採用し7B〜70B規模を対象に使いやすさを重視します。一方veRLはMegatron-LM+vLLMでTP+PP+DP Hybridを採用し70B〜数百B規模を対象に大規模クラスタ最適化を重視します。どちらもApache 2.0ライセンスです。

まとめ

veRLはGRPOやPPOを使って大規模LLMをポストトレーニングするためのプロダクション品質のフレームワークです。ByteDanceの実運用ワークロードから生まれた設計で、特に70B以上のモデルへのRLを大規模クラスタで実行したい研究者・エンジニアにとって最有力の選択肢の一つです。