AI・機械学習
中級
Span Corruption Pretraining（スパンコラプション）
T5が採用するエンコーダ・デコーダ型LLMのプリトレーニング手法。連続した複数トークン（スパン）をセンチネルトークンで置換し、デコーダが元スパンを順に復元することで言語理解を学習する。
0 回閲覧
0 いいね
2026/6/7 更新
関連タグ
span-corruption
t5
pretraining
encoder-decoder
masked-lm
sentinel-token
Span Corruption Pretraining
Span Corruptionは2019年にGoogleのRaffelらがT5（Text-to-Text Transfer Transformer）論文で提案したプリトレーニング手法。従来のBERT式マスク言語モデリング（MLM）を改良し、個別トークンではなく「スパン（連続した複数トークン）」単位でマスキングする。
動作の仕組み
入力処理（エンコーダ側）: 元テキストからランダムにスパンを選択し、各スパンをセンチネルトークン（<extra_id_0>, <extra_id_1>...）で置換する。破損率デフォルト15%、平均スパン長3トークン。
例:
- 元テキスト: "The cat sat on the mat by the window"
- 破損後入力: "The cat <extra_id_0> the mat <extra_id_1> the window"
出力生成（デコーダ側）: デコーダはセンチネルに対応する元スパンを順に生成する:
- 期待出力: "<extra_id_0> sat on <extra_id_1> by"
BERT-MLMとの違い
BERT-MLMは単一トークンをマスクし全トークンを予測するが、Span Corruptionはスパン単位でマスクし出力はマスク部分のみ。入力長が短縮されデコーダ出力も短くなるため、計算効率が大幅に向上する。
計算効率の優位性
マスク後の入力長が短縮され、デコーダ出力もマスクスパンのみとなるため、同一GPUで処理できるバッチサイズが増加する。T5-11Bのような大規模モデルのプリトレーニングを実現した重要な設計選択だった。
継承と発展
T5のSpan CorruptionはFlan-T5、UL2、mT5（多言語版）など多数の派生モデルに引き継がれた。またUL2ではSpan CorruptionをR-DenoiserとX-Denoiserとして再定義し、より広い破損率・スパン長のバリエーションを学習する拡張が行われた。