継続事前学習（LLM）（ケイゾクジゼンガクシュウ）

# 日本語継続事前学習の例
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers import Trainer, TrainingArguments, DataCollatorForLanguageModeling

model_id = "meta-llama/Llama-3-8B"
model = AutoModelForCausalLM.from_pretrained(model_id)
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 日本語コーパスを追加
jp_dataset = load_dataset("cc100", "ja")  # Common Crawl 日本語

training_args = TrainingArguments(
    output_dir="./llama3-jp-cpt",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=8,
    num_train_epochs=1,
    learning_rate=2e-5,
    lr_scheduler_type="cosine",
    warmup_ratio=0.01,
    bf16=True,
)

data_collator = DataCollatorForLanguageModeling(
    tokenizer=tokenizer,
    mlm=False,  # Causal LM = 次トークン予測
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=jp_dataset,
    data_collator=data_collator,
)

GPT-3.5 (訓練データ: 〜2021年9月)
↓ 継続事前学習
最新情報対応版 (〜2025年データ追加)

# 忘却を防ぐためのデータ混合
mix_config = {
    "new_domain": 0.7,    # 新しいドメインデータ
    "general": 0.2,       # 汎用データ（忘却防止のリプレイ効果）
    "instruction": 0.1,   # 指示追従データ（能力維持）
}

# 実装例
from datasets import interleave_datasets

mixed_dataset = interleave_datasets(
    [
        new_domain_dataset,
        general_dataset,
        instruction_dataset,
    ],
    probabilities=[0.7, 0.2, 0.1],
    seed=42,
)

# 初期LRは元事前学習より1〜2桁低く設定
learning_rate = 1e-5  # 元事前学習の1/10〜1/100

# コサインスケジュール + ウォームアップ
lr_scheduler_type = "cosine"
warmup_ratio = 0.01  # 短めのウォームアップ

# 早期停止：validation perplexityが上昇し始めたら停止

from peft import LoraConfig, TaskType, get_peft_model

lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=64,                    # CPTは高ランクが効果的
    lora_alpha=128,
    target_modules=[         # 全アテンション層を対象
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj"
    ],
    lora_dropout=0.05,
)

model = get_peft_model(base_model, lora_config)
model.print_trainable_parameters()
# trainable params: ~80M / all params: 8B → 約1%のみ更新

# 1. Perplexity（新ドメインでの言語モデリング性能）
perplexity = compute_perplexity(model, new_domain_test_set)

# 2. 元能力の保持確認（忘却チェック）
benchmark_suite = [
    ("MMLU", "一般知識"),
    ("HellaSwag", "常識推論"),
    ("HumanEval", "コーディング"),
    ("新ドメインQA", "ドメイン適応"),
]

for benchmark, description in benchmark_suite:
    before_cpt = evaluate_before[benchmark]
    after_cpt = evaluate_after[benchmark]
    delta = after_cpt - before_cpt
    print(f"{description}: {before_cpt:.1%} → {after_cpt:.1%} (Δ{delta:+.1%})")