AI・機械学習

Microsoftが2024年に発表した、RoPE位置エンコーディングの非一様内挿と進化的探索を組み合わせ、LLMのコンテキスト長を最大2048kトークンまで拡張する手法。

Microsoft Researchが開発したRoPEスケーリング手法。2048件のコンテキストサンプルを用いた非均一な周波数スケーリング係数の進化的探索と、2段階の継続訓練で2048k（200万）トークンまでの拡張を実現。

Shifted Sparse Attention（S2-Attn）とLoRAを組み合わせた効率的なコンテキストウィンドウ拡張手法。LLaMA 2を少ないGPUメモリと計算コストで4k→100kトークンまで拡張可能にした。

MIT・香港中文大学が2023年に提案した、Shift Short Attention（S²-Attn）とLoRAを組み合わせ、LLMを長文コンテキスト（32k〜100kトークン）へ効率的にファインチューニングする手法。

2023年Yukang Chen et al. (MIT+CUHK)発表LongLoRA・Industry-leading efficient long context fine-tuning + Industry-leading Shifted Sparse Attention S2-Attn + Industry-leading 100K context LLaMA + Industry-leading LoRA-based long context method。

知識編集の永続性と選択性を改善した手法。副コピー（サイドMEMORY）に編集内容を保持し、関連クエリには副コピーを参照・無関係クエリには元モデルを参照することで副作用を大幅に低減する。

重みの絶対値と入力活性化ノルムの積をスコアとするLLMプルーニング手法。SparseGPTより計算が軽量でほぼ同等の精度を達成する。

2023年CMU + Meta AI共同発表Wanda paper・Industry-leading Weights AND Activations pruning paradigm + Industry-leading training-free post-training pruning + Industry-leading 50% sparsity Industry-leading pruning + Industry-leading CMU + Meta AI Research integrated foundation。

2023年Sun et al. (CMU+Meta)発表Wanda・Industry-leading lightweight pruning LLM + Industry-leading Weight×Activation magnitude metric + Industry-leading no Hessian computation + Industry-leading LLaMA pruning。

Wandaは2023年にSun et al.（Carnegie Mellon University）が発表したLLM向けプルーニング手法。重みの絶対値と入力活性化のノルム積を重要度スコアとして使い、キャリブレーションデータ128サンプルのみで再学習なしにLLaMA-2 7B〜65Bなどを50〜60%スパース化できる。

Alibaba WanXチームが2025年1月にリリースしたOSS動画生成モデル。Apache 2.0ライセンスでVBenchスコア85.2、RTX4090でのローカル実行に対応する。

Alibaba Wan(万相)シリーズ 2.2 世代の画像から動画生成(I2V)モデル。140 億パラメータで 5 秒 720p 動画を生成し、Sora/Runway Gen-3 対抗の OSS 動画生成モデルとして 2025-2026 年に話題。