LLM継続事前学習（エルエルエムケイゾクジゼンガクシュウ）

LLM継続事前学習とは

LLM継続事前学習（Continual Pretraining）は、学習済みの大規模言語モデルを出発点として、新たなコーパスでさらに学習を継続する技術です。GPT-4やLLaMA 3のような基盤モデルをゼロから再学習するには膨大なコストがかかるため、既存チェックポイントを活用して知識を拡張・更新するアプローチが普及しています。

主な適用シーン

ドメイン適応

汎用LLMを医療・法律・金融・製造業などの専門ドメインに特化させる際に使用します。専門用語や業界固有の文脈を大量に含むコーパスで継続学習することで、ドメイン固有タスクの精度が向上します。

知識の時間的更新

モデルのカットオフ日以降のニュース・論文・製品情報などを取り込み、知識を最新化します。完全再学習と比較して1〜5%程度の計算コストで実施可能なケースもあります。

多言語・コード能力拡張

英語中心のモデルに日本語・中国語・アラビア語などのコーパスを追加学習させたり、プログラミング言語のコードを大量に学習させてコーディング能力を強化します。LLaMA 3の日本語継続学習（Swallow, LLaMA-3-Elyza）はその代表例です。

壊滅的忘却の問題と対策

継続学習の最大の課題は壊滅的忘却です。新データだけで学習すると、元の汎用能力（英語・一般常識・コード）が急速に劣化します。主な対策：

• データリプレイ: 元の事前学習コーパスを5〜30%混合してミニバッチに含める
• 学習率スケジューリング: 低学習率（1e-5〜5e-5）でウォームアップ後コサイン減衰
• 重みの正則化: EWCで重要パラメータを保護
• CPT-Mix（DoReMi風）: ドメイン別損失比率に応じてデータ割合を動的調整

代表的な実装例

• Swallow（東工大, 2024）: LLaMA 2/3を日本語コーパス約2兆トークンで継続学習
• Code Llama（Meta, 2023）: LLaMA 2を5000億トークンのコードコーパスで継続学習。HumanEval Pass@1でLLaMA 2比+30pt超の改善
• DeepSeek-V3ドメイン強化: 数学・コードの高品質データで追加継続学習を実施

ツール・フレームワーク

• LLaMA-Factory: LoRA/QLoRA対応の継続学習フレームワーク
• Axolotl: HuggingFace Transformers + DeepSpeed統合
• TorchTune: Meta公式のファインチューニング・継続学習ツール

継続事前学習はSFT（Supervised Fine-Tuning）とは異なり、通常は次トークン予測（CLM）ロスで学習します。指示追従能力はSFTで別途獲得する2段階アプローチが一般的です。