UL2（Unified Language Learner）（ユーエルツー）

UL2（Unified Language Learner）

UL2はGoogleのTay et al.が2022年に提案した統合プリトレーニング目的で、それまで別々に研究されていた言語モデリング目的を単一フレームワークに統合した。T5アーキテクチャをベースに、3種類の「デノイザー」をランダムに切り替えながら学習する。

3種類のデノイザー

R-Denoiser（Regular）: 短スパン・低破損率のマスキング。BERTに近い通常のMLM。スパン長2〜5トークン、破損率15%程度で細粒度の言語理解を学習。

S-Denoiser（Sequential）: 逐次的なPrefix Language Modeling。入力の前半をencoderが処理し、後半をdecoderが自回帰生成する。GPTスタイルの生成能力を学習。

X-Denoiser（eXtreme）: 極端な長スパン・高破損率のマスキング。スパン長8〜64トークン、破損率50%以上で粗粒度の意味的再構成を学習。

モード切替トークン

各デノイザーに対応するスペシャルトークンを入力先頭に付加することで、推論時に使用するデノイザーをユーザーが指定できる設計になっている。同一モデルが複数の学習目的を持つことを可能にした重要な仕組み。

Flan-UL2での成果

2023年にGoogleが公開したFlan-UL2（20B）は、Flan-T5 XXL（11B）を多くのベンチマークで上回り、70B規模のモデルに匹敵する性能を示した。特にゼロショット・few-shot推論における汎化性能の高さが評価されている。

LLM設計への影響

UL2の多目的プリトレーニングの思想は、後続のLLMにも影響を与えた。単一の学習目的に縛られず、複数の目的を組み合わせることで汎化性を高めるアプローチは、現在のInstruction Tuningと組み合わせた訓練パイプラインの先駆けとなっている。