Byte Latent Transformer（バイトレイテントトランスフォーマー）
Metaが2024年12月に発表したトークナイザーフリーのLLMアーキテクチャ。生バイト列を直接処理し、エントロピーベースの動的パッチングで計算効率を高める。
Byte Latent Transformer（BLT）とは
Byte Latent Transformer（BLT）は、Meta AI Researchが2024年12月に発表したトークナイザーフリーのLLMアーキテクチャです。従来のLLMがBPE（Byte Pair Encoding）等のトークナイザーで文字列を事前分割するのに対し、BLTは生バイト列（ASCII/UTF-8）をそのまま直接処理します。
主要コンポーネント
BLTは4段階のモジュールで構成されます。
Local Encoder: 生バイト列を小さなTransformerで局所的に符号化し、パッチ表現を生成します。軽量設計でエントロピーの低い繰り返し部分を効率的に圧縮します。
Dynamic Patcher: エントロピーモデルを用いて次バイトの予測困難度を推定し、情報密度の高い箇所ほど細かいパッチ（短いスパン）に分割します。従来の固定長トークンと異なり、コンテンツに応じて粒度が動的に変化します。
Latent Transformer: BLTの中核となる大規模Transformerで、パッチ表現のシーケンスを処理します。FLOPの大半がここに集中するため、全体の計算量はパッチ数に依存し、バイト数に比例しません。
Local Decoder: Latent Transformerの出力から各バイトの確率分布を復元します。
技術的優位性
- 語彙サイズ256: ASCIIバイト値のみを語彙とするため語彙埋め込みが極めて小さい
- 言語非依存: トークナイザーが特定言語に最適化されていないため、低資源言語・コード・数式で安定した性能
- ノイズ・スペルバリエーション耐性: 文字レベルの操作（タイポ・スペル変化）に対して頑健
- FLOP固定: 同一計算量でBPEベースLlama3モデルと同等以上の性能をArena-HardおよびMMLU-Proで実証
パフォーマンス比較
| モデル | MMLU-Pro | Arena-Hard | 語彙サイズ |
|---|---|---|---|
| Llama3 8B (BPE) | 基準 | 基準 | 128K |
| BLT 8B | 同等 | +2pt | 256 |
同等FLOPでの比較においてBLTはスペルタスク（+15%）やコード（+8%）で明確な優位を示しています。
制限事項
- Local Encoder/Decoderのオーバーヘッドにより推論レイテンシが増加する場合がある
- 長文書では動的パッチング計算コストが増大する
- 既存BPEモデルとの直接的なファインチューニング互換性がない
関連技術
BLTはMegabyte（Meta 2023）の後継として位置づけられ、DeepSeekのMLA（Multi-head Latent Attention）と組み合わせることでメモリ効率をさらに改善できます。2025年現在、BLTをベースにした商用モデルはまだ登場していませんが、Llama 5での採用が検討されていると報告されています。