マスク言語モデル事前学習（マスクゲンゴモデルジゼンガクシュウ）

マスク言語モデル事前学習（MLM）とは

Masked Language Modeling（MLM）は、Googleが2018年に発表したBERT（Bidirectional Encoder Representations from Transformers）で採用された自己教師あり事前学習手法。入力テキストの一部トークンを[MASK]トークンで置換し、文の左右両方向の文脈を参照して元のトークンを予測するタスクを学習することで、双方向の文脈表現を獲得する。

MLMの学習プロセス

マスキング戦略（BERT論文準拠）

BERT原論文では全トークンの15%を選択し、以下の割合で処理：

選択された15%のトークンのうち:

• 80%: [MASK]トークンに置換
• 10%: ランダムな別トークンに置換
• 10%: 元のトークンのまま維持

80%のみMASKにしない理由は、Fine-tuning時に[MASK]トークンが存在しない分布ミスマッチを軽減するため。

BERTとNext Sentence Prediction（NSP）

BERTはMLMに加えてNext Sentence Prediction（NSP）タスクも採用。2文を[SEP]で繋ぎ、2文目が実際に後続する文か（IsNext/NotNext）を予測するバイナリ分類タスク。

ただしRoBERTa（2019年）の実験でNSPはMLMの性能を下げる場合があることが示され、後続モデルの多くはMLMのみを使用。

MLMモデルの系譜

• BERT (2018): MLM + NSP、12層Transformer
• RoBERTa (2019): NSP廃止、ダイナミックマスキング、大規模データ
• ALBERT (2019): パラメータ共有、SOP（文順序予測）
• DeBERTa (2020): 分離Attention、絶対位置エンコーディング改良
• BERT-large-ja (2020+): 日本語特化BERT（東北大等）
• Luke (2020): エンティティ認識特化

CLM（因果言語モデル）との住み分け

2020年代以降、GPT系のCLMモデルがスケールアップにより理解タスクでも優位になり、MLMの相対的地位は低下。しかし以下用途ではMLMが依然有効：

MLMが有利な用途:

• テキスト分類（感情分析・カテゴリ分類）
• 固有表現認識（NER）
• 質問応答（MRC）
• エンベディング生成（意味検索）

CLMが有利な用途:

• テキスト生成全般
• チャットボット・対話システム
• コード生成
• 少数ショット学習（few-shot prompting）

日本語LLMとMLM

jisaku.comで活用しているMeilisearch + ベクトル検索の基盤には、日本語テキストの意味理解が必要。BERTベースの日本語エンベディングモデル（cl-tohoku/bert-base-japanese-v3等）はMLM事前学習済モデルをFine-tuningしたものが多く、用語集の意味検索にも間接的に活用されている。