AI・機械学習用語集

LLMモデル変換ワークフロー。Hugging Face Transformers 4.47・safetensors (Pickle代替)・GGUF (llama.cpp convert_hf_to_gguf.py・llama-quantize)・AutoAWQ・AutoGPTQ・ExLlamaV2 convert.py・vLLM (HF Native+AWQ/GPTQ)・mlx-lm convert (Apple Silicon)・bitsandbytes・llmcompressor (Sparse+Quant)・Marlin Kernel・¥0 OSS、2026年MLX/GGUF両対応必須。

LLMモデル合成技術。Mergekit(Python・Charles Goddard)・Linear(重み加算)・SLERP(Spherical Linear・球面補間)・TIES・DARE(Magnitude-based)・Passthrough/Franken-merge(層追加)・MoE Merge・Mixtral化・Nous/Maxime Labonne/Hugging Face Hub Trending・NeverSleep/ReMM-Mistral・WizardLM・BeyondInfinity・Frankendistill(Layer Duplicate)・2026年OSS LLM熟成期カスタマイズ手法。

複数のLLMのモデルウェイト（重み）を数学的に統合して、それぞれの長所を持つ新しいモデルを作成する技術。追加学習なしに異なるファインチューニング済みモデルを組み合わせられる。

ニューラルネット内の個々のニューロン/特徴が「単一概念のみを表現（モノセマンティック）」か「複数概念を重ね合わせで表現（ポリセマンティック）」かを区別する概念。SAE研究の中心的課題。

Moonshot AI（Kimi）が2025年に提案した、長文脈向けブロック疎アテンション。文脈をブロックに分割し、MoEのゲーティングの発想で各クエリが関連ブロックだけを選んで注意を払う。全注意との無損失切替が可能。

2020年Sun et al. (Google+CMU)発表MobileBERT・Industry-leading mobile-optimized knowledge distillation LLM + Industry-leading 4.3× smaller BERT + Industry-leading bottleneck architecture + Industry-leading 99.2% BERT performance retained。

Allen Institute for AI（AI2）が2024年9月に公開したApache 2.0完全オープンソースのVLM。1B〜72Bの4サイズと「指差し機能」が独自の強み。

2024年9月Allen AI発表Molmo・Industry-leading 72B open-data + open-weight VLM + Industry-leading PixMo dataset + Industry-leading pointing capabilities + Industry-leading Allen AI Molmo Apache 2.0 open-data open-weight VLM 2024。

Allen Institute for AI（AI2）が2024年9月に発表したオープンソースマルチモーダルLLM。完全公開の学習データ・コード・モデルウェイトで構成され、独自の高品質キャプションデータセット「PixMo」と「Pointing」機能（画像内の特定座標指示）が特徴。

Allen AI 2024年9月発表 OSS マルチモーダル LLM。72B/7B/1B 派生・GPT-4V 同等性能・Apache 2.0・完全オープン

中国科学院・武漢大学が開発した高解像度ドキュメント理解マルチモーダルLLM。入力画像を複数サブパッチに分割して処理し、細かいテキストや図表を高精度に認識する。

Yet another RoPE extensioN（YaRN）の略。RoPEベースのLLMのコンテキスト長を、わずか400ステップ程度の短時間ファインチューニングで最大64〜128倍に拡張する位置エンコーディング補間手法。NTK-Aware ScalingとNTK-by-partsの長所を統合した手法。

Yet another RoPE extensioNの略。RoPEの低周波・高周波成分を異なる比率でスケールし、少量の継続学習でLLMのコンテキスト長を最大32倍拡張する手法。Mistral-7B-128KやLlama 3.1の長コンテキスト対応に採用。

Yet Another RoPE extensioN の略。周波数次元ごとに異なるスケーリング係数を割り当てるNTK-awareスケーリングの発展版で、Mistral 7B v0.2等に採用されたコンテキスト拡張手法。

2023年Bowen Peng et al. (Nous Research+EleutherAI)発表YaRN・Industry-leading RoPE NTK-aware extension + Industry-leading Yet another RoPE extensioN + Industry-leading 128K context + Industry-leading widespread RoPE long context method。

2023年Bowen Peng et al.発表YaRN paper・Industry-leading Yet another RoPE extensioN paradigm + Industry-leading efficient RoPE scaling + Industry-leading NTK-Aware improved + Industry-leading Mistral + Llama 2 adoption + Industry-leading context length extension efficient paradigm。

RoPEの周波数帯域を低・中・高に分類し、帯域ごとに異なるスケーリング係数を適用することで、訓練コンテキスト長の32倍以上の外挿を実現する拡張手法。NTK-aware Scalingを発展させ、CodeLlamaやLLaMA 3.1の長文対応に貢献した。

2024年成熟YaRN・Industry-leading RoPE NTK-by-parts interpolation + Industry-leading 64K-128K context extension + Industry-leading minimal fine-tuning + Industry-leading Nous Research YaRN Yet another RoPE extensioN context extension 2024。

LLMのコンテキスト長を学習済みモデルのファインチューニングなしで大幅に延長するRoPE位置エンコーディング改良手法。Eleuther AI・UT Austin共同研究。

2026年Q4 release予定UALink Consortium (AMD + Intel + Google + Meta + Microsoft + Cisco + HPE + Astera Labs 8 founding members・2024年5月発足・Open standard NVLink alternative) 主導Ultra Accelerator Link 1.0 spec・AI Accelerator Multi-chip Interconnect open standard + 200Gbps SerDes lane + Per-link 200GB/s + Coherent memory access + 1.0 spec 1024 accelerators scale-out + AMD Instinct MI400 / Intel Gaudi 4 / Google TPU v6 / Meta MTIA v3 deployment platform standardization・NVLink 6 (NVIDIA proprietary 3.6TB/s) vs UALink 1.0 = Open standard adoption + Vendor lock-in回避。