Prefix Language Model（GLM式）（プレフィックスランゲージモデル）
入力の先頭部分（Prefix）に双方向自己注意、後続部分に因果的（一方向）自己注意を適用するハイブリッドLMアーキテクチャ。GLM・ChatGLMシリーズで採用され、理解と生成を単一モデルで高精度に実行する。
Prefix Language Model（GLM式）
Prefix Language Model（Prefix LM）は、入力を「Prefix（前半）」と「Generation（後半）」の2部分に分割し、Prefix部分には双方向自己注意（Bidirectional Self-Attention）、Generation部分には因果的（一方向）自己注意を適用するハイブリッドアーキテクチャ。
背景：エンコーダ・デコーダの統合
従来のTransformerアーキテクチャには2系統が存在した：
- BERT型エンコーダ: 双方向注意で理解タスクに強い、生成が不得意
- GPT型デコーダ: 因果的注意で生成に強い、双方向文脈の把握が弱い
Prefix LMはPrefix部に双方向注意を許可することで、両方の長所を統合する。
GLM（General Language Model）
Du et al. (Tsinghua大, 2022) が提案したGLMは、Prefix LMの考え方をさらに発展させた。自己回帰ブランクインフィリング（Autoregressive Blank Infilling）というプリトレーニング目的を採用し：
- テキストからランダムにスパンをマスク
- マスク位置はシャッフルして末尾に配置
- モデルは元の位置情報を2D位置エンコーディングで保持
- 各スパンを自回帰的に生成
ChatGLMシリーズへの継承
GLMのアーキテクチャはChatGLM-2, 3, 4（Zhipu AI × Tsinghua）に継承された。ChatGLM-4は中国語・英語バイリンガルで128Kコンテキストに対応し、中国語ベンチマークで高い評価を得ている。
T5との違い
T5もPrefix LMの一形態だが、エンコーダとデコーダが物理的に分離している。GLMは単一モデルで注意マスクを切り替えることで同様の効果を実現しており、推論効率に優れる。
現代LLMへの影響
Geminiの一部バリアントやGemma 3でもPrefix LMの考え方が部分的に採用されており、全トークンに双方向注意を適用するFull Attention設計の前身として位置づけられている。