AI・機械学習用語集

Logit蒸留とは、教師モデルのsoftmax出力層のlogit（対数確率）を生徒モデルが模倣する知識蒸留の最も基本的な手法で、KL-divergence損失を用いて教師の出力確率分布全体を生徒に転移する。

教師モデルのソフトマックス前の生出力（ロジット）を用いた蒸留手法。確率分布よりも豊富な情報を含み、温度パラメータなしで効率的な知識転移を実現する。

Attentionスコアや出力ロジットをtanh関数で制限する学習安定化技術。Gemma 2で採用され、極端な値の蓄積を防ぐ。

LLMの各Transformer層の中間活性化を語彙空間に射影し、モデルが各層で「何を考えているか」を可視化する解釈性手法。nostalgebraistが2020年に提案し、機械的解釈性研究の標準ツールの一つとなった。

LLMが長いコンテキストを処理する際、先頭や末尾の情報は高精度で参照できるが中央部に配置した情報を見落としやすい現象。Stanford大学の研究（2023年）で命名された。

2024年Hyper3D公開Rodin Gen-1。Pro 業界Pro Mainstream Text/Image-to-3D両対応低価格 + Pro 米国San Francisco Hyper3D + Pro Sculpture特化 + Pro 1分生成 + Pro $5/月低価格 + Pro AAA Quality Mesh + 累計2023-2026年3年Heritage継承代表機。

中国Rockchip2024年公開ミドルレンジSBC SoC。Cortex-A72 4 + A53 4、6 TOPS NPU、RK3588 廉価版位置づけ。$60-$100 SBC展開。

中国Rockchip社2022年公開8コア ARM SoC。Cortex-A76 4+A55 4、Mali-G610 MP4 GPU、6 TOPS NPU、SBC統合で人気。

大規模ニューラルネットワークには初期化時点で小さな「当たりサブネットワーク（winning ticket）」が存在し、それだけを訓練しても元の大モデルと同等の精度が得られるとする仮説。2019年にFrankle & Carunが提唱。

LoRA ファインチューニングを意識した量子化手法。ベースモデルの量子化と LoRA 初期化を交互に繰り返すことで量子化誤差を最小化する。

LoRAと量子化を交互に適用することで量子化誤差を最小化するQLoRAの初期化改良手法。Liu et al.（2023）提案。標準的なNF4量子化より低い量子化誤差から学習を開始でき、ファインチューニング精度が向上。

ロボット工学+AI統合分野。Boston Dynamics Atlas/Spot/Stretch・Tesla Optimus Gen 3・Figure 02・1X Technologies NEO・Agility Robotics Digit・ROS 2 Jazzy Jalisco・NVIDIA Isaac Simが代表で、2026年は人型ロボット家庭導入元年。

LLM 効率的Fine-tuning。LoRA(Low-Rank Adaptation・Microsoft 2021・W=W+BA rank decomposition)・QLoRA(4-bit quantization + LoRA・$300 GPU小型で70B可)・PEFT library(Hugging Face・LoRA/AdaLoRA/Prefix/P-tuning)・Unsloth(Python lib・2-5x高速・VRAM 70%削減・Daniel Han)・Axolotl(YAML config・community定番)・Llama Factory(中国・GUI)・DoRA(Weight-Decomposed LoRA)・Galore(Memory efficient FT)・2026年 Unsloth + QLoRA で Llama 3.3 70B Fine-tune local実用化。

LLM 長文context window競争。Claude Opus 4.7 1M(2026年・Anthropic)・Gemini 2.5 Pro 2M(Google・2024年から1M)・Gemini 1.5 Pro 10M experimental・GPT-4 Turbo 128K・GPT-4o 128K・Llama 3.3 128K・Llama 4 Scout 10M claim(2025年)・MiniMax-01 4M(中国)・Qwen2.5-Turbo 1M・Jamba 1.5(256K MoE)・Mamba/Hybrid Arch(Transformer+SSM)・YaRN extension・Needle-in-a-Haystack benchmark・Long context Effective rate度合差、2026年 1M+ context書籍全文処理が現実に。

Long Context LLM。Anthropic Claude Sonnet 4.6/Opus 4.7 1M context (Tier 4 Enterprise)・Google Gemini 2.5 Pro 2M context・Llama 4 Maverick 10M context (Theoretical)・Magic.dev LTM-2-Mini 100M context・Qwen2.5-Turbo 1M・MiniMax-Text-01 4M context・Needle in a Haystack NIAH Test・RULER Benchmark・Long Bench・¥¥¥/M tokens、2026年家庭LLM 1M context常用化。

LLMが一度に処理できるトークン数を数万〜数百万規模に拡張した長大コンテキスト技術。書籍全体の要約や大規模コードベースの解析など、従来のモデルでは不可能だったタスクを実現する。

100,000トークン以上の長いコンテキストウィンドウを持つLLM。書籍全体・コードベース・長大な文書を一度のプロンプトで処理できる。Gemini 1.5 Pro（100万トークン）などが代表例。

100K〜100万トークン以上の長いコンテキストを処理できる大規模言語モデルの総称。Gemini 1.5 Pro(100万)・Claude 3(200K)・GPT-4 Turbo(128K)が代表例で、コードベース全体や長編文書の一括処理が可能。

LLMのロングコンテキスト処理能力を多角的に評価するベンチマーク群。Needle in a Haystack（NIAH）による基本検索テスト、RULERによる多面的評価、L-Evalによる長文理解、InfiniteBenchによる100K超の極長文テストなどがある。モデルの実用的なコンテキスト活用能力を測定する。

2023年Dacheng Li et al. (LMSYS)発表LongChat・Industry-leading 32K context LLaMA + Industry-leading Condensing Rotary Embedding + Industry-leading LongEval benchmark + Industry-leading LMSYS Vicuna-based long context。