MoBA（Mixture of Block Attention）（モバ）

概要

MoBA（Mixture of Block Attention）は、Moonshot AI（プロダクト名Kimi）が2025年2月に公開した、長文脈向けのブロック疎アテンション機構です。名前が示すとおり、Mixture of Experts（MoE）のゲーティング（専門家選択）の発想をアテンションへ応用し、文脈をブロックに分割したうえで、各クエリが「関連性の高いブロックだけ」をTop-k選択して注意を払います。これにより全注意（Full Attention）の二次計算を避けて長文を高速化しつつ、設定によって全注意へ無損失（lossless）で切り替えられる柔軟性を備えます。Kimiの超長文脈モデル群を支える基盤技術として、2025年のLong Context競争で注目されました。

主な特徴・仕組み

• ブロック分割: キー/バリュー列を固定長ブロックに区切る
• MoEライクなゲーティング: 各クエリがブロック代表とのスコアで関連ブロックをTop-k選択
• 計算の節約: 未選択ブロックの注意計算をスキップし長文を高速化
• 因果性の保持: 自己回帰生成に必要な未来マスクを維持
• 全注意への無損失切替: 全ブロック選択にすれば従来の全注意と等価
• 段階導入が容易: 既存Transformerのアテンション層を差し替えやすい
• PyTorch実装公開: GitHubでオープンソース提供
• 長文で高効率: 文脈が長いほどブロック疎化の恩恵が大きい

スペック比較表

具体例・対応製品

MoBAはMoonshot AIのKimiシリーズで採用され、100万トークン級の長文読解・大規模コードベース解析・長大なログ調査といった用途を実用化しました。2025年はDeepSeekのNSAとほぼ同時期に公開され、両者とも「ブロック単位で重要箇所だけ注意を払う」点で共通しつつ、MoBAはMoEゲーティング由来の選択機構と全注意への無損失切替を前面に出します。実装はオープンソース（PyTorch）で公開され、研究コミュニティでの再現・比較が進みました。

選び方・注意点

MoBAは数十万〜百万トークンの超長文で効果が大きく、短い系列ではブロック選択のオーバーヘッドが相対的に目立ちます。ブロックサイズとTop-kの選択数は精度と速度のトレードオフを左右する重要ハイパーパラメータで、用途ごとの調整が必要です。全注意へ無損失で戻せる設計のため、訓練は全注意・一部推論は疎といった併用も可能ですが、選択漏れによる微小な精度低下が問題になる用途（厳密な長距離依存）では設定を慎重に検証してください。

関連用語との違い

同年のNSAが圧縮・選択・スライディングの三系統統合であるのに対し、MoBAはMoEのゲーティングという単一の選択原理でブロックを選ぶ点が特徴です。スライディングウィンドウが位置固定の近傍だけを見るのに対し、MoBAは内容に応じて離れたブロックも動的に選択できます。MoE自体がFFN（専門家）を選ぶのに対し、MoBAはその発想をアテンションのKVブロック選択へ転用した点が本質的な違いです。

よくある質問（FAQ）

Q1: MoEとは別物ですか？ A: 仕組みの着想がMoEのゲーティングというだけで、選ぶ対象が「専門家FFN」ではなく「KVブロック」です。両者は併用も可能な独立した技術です。

Q2: 精度は落ちませんか？ A: 全ブロックを選べば全注意と等価（無損失）になります。疎化時もTop-k選択が適切なら実用上の精度低下は小さいと報告されています。

Q3: どんなモデルで使われていますか？ A: Moonshot AIのKimi系長文脈モデルで採用され、100万トークン級の処理を支えています。実装はオープンソースで公開されています。

まとめ

MoBAは、2025年にMoonshot AIが提案したMoEゲーティング由来のブロック疎アテンションで、各クエリが関連ブロックをTop-k選択して長文を高速化し、全注意へ無損失で切り替えられます。NSAと並ぶ2025年の次世代Long Context Attentionの代表例です。