2472件の用語
2024年Q2 Stanford University発表LoReFT paper・Industry-emerging Low-rank Representation Finetuning paradigm + Industry-leading Representation editing fine-tuning Industry-emerging paradigm Pioneer + Industry-leading hidden state representation editing fine-tuning + Industry-leading LoRA alternative Industry-emerging Representation finetuning paradigm・Industry-leading Stanford academic AI research foundation。
アウトライナー形式のOSSノートアプリLogseqにおいて、Local LLMやOpenタリーAPIを統合し、ブロック単位の知識管理（PKM）を自動化・高度化するAI機能群。
LLMの自然言語推論を論理プログラム（Prolog等）に変換して外部ソルバーで正確に解くニューロシンボリックフレームワーク。LLMの流暢さと形式論理の確実性を組み合わせる。
Logit蒸留とは、教師モデルのsoftmax出力層のlogit（対数確率）を生徒モデルが模倣する知識蒸留の最も基本的な手法で、KL-divergence損失を用いて教師の出力確率分布全体を生徒に転移する。
2024年Hyper3D公開Rodin Gen-1。Pro 業界Pro Mainstream Text/Image-to-3D両対応低価格 + Pro 米国San Francisco Hyper3D + Pro Sculpture特化 + Pro 1分生成 + Pro $5/月低価格 + Pro AAA Quality Mesh + 累計2023-2026年3年Heritage継承代表機。
中国Rockchip2024年公開ミドルレンジSBC SoC。Cortex-A72 4 + A53 4、6 TOPS NPU、RK3588 廉価版位置づけ。$60-$100 SBC展開。
中国Rockchip社2022年公開8コア ARM SoC。Cortex-A76 4+A55 4、Mali-G610 MP4 GPU、6 TOPS NPU、SBC統合で人気。
LoRA ファインチューニングを意識した量子化手法。ベースモデルの量子化と LoRA 初期化を交互に繰り返すことで量子化誤差を最小化する。
LoRAと量子化を交互に適用することで量子化誤差を最小化するQLoRAの初期化改良手法。Liu et al.（2023）提案。標準的なNF4量子化より低い量子化誤差から学習を開始でき、ファインチューニング精度が向上。
LLM 効率的Fine-tuning。LoRA(Low-Rank Adaptation・Microsoft 2021・W=W+BA rank decomposition)・QLoRA(4-bit quantization + LoRA・$300 GPU小型で70B可)・PEFT library(Hugging Face・LoRA/AdaLoRA/Prefix/P-tuning)・Unsloth(Python lib・2-5x高速・VRAM 70%削減・Daniel Han)・Axolotl(YAML config・community定番)・Llama Factory(中国・GUI)・DoRA(Weight-Decomposed LoRA)・Galore(Memory efficient FT)・2026年 Unsloth + QLoRA で Llama 3.3 70B Fine-tune local実用化。
LLM 長文context window競争。Claude Opus 4.7 1M(2026年・Anthropic)・Gemini 2.5 Pro 2M(Google・2024年から1M)・Gemini 1.5 Pro 10M experimental・GPT-4 Turbo 128K・GPT-4o 128K・Llama 3.3 128K・Llama 4 Scout 10M claim(2025年)・MiniMax-01 4M(中国)・Qwen2.5-Turbo 1M・Jamba 1.5(256K MoE)・Mamba/Hybrid Arch(Transformer+SSM)・YaRN extension・Needle-in-a-Haystack benchmark・Long context Effective rate度合差、2026年 1M+ context書籍全文処理が現実に。
Long Context LLM。Anthropic Claude Sonnet 4.6/Opus 4.7 1M context (Tier 4 Enterprise)・Google Gemini 2.5 Pro 2M context・Llama 4 Maverick 10M context (Theoretical)・Magic.dev LTM-2-Mini 100M context・Qwen2.5-Turbo 1M・MiniMax-Text-01 4M context・Needle in a Haystack NIAH Test・RULER Benchmark・Long Bench・¥¥¥/M tokens、2026年家庭LLM 1M context常用化。
LLMが一度に処理できるトークン数を数万〜数百万規模に拡張した長大コンテキスト技術。書籍全体の要約や大規模コードベースの解析など、従来のモデルでは不可能だったタスクを実現する。
100,000トークン以上の長いコンテキストウィンドウを持つLLM。書籍全体・コードベース・長大な文書を一度のプロンプトで処理できる。Gemini 1.5 Pro（100万トークン）などが代表例。
100K〜100万トークン以上の長いコンテキストを処理できる大規模言語モデルの総称。Gemini 1.5 Pro(100万)・Claude 3(200K)・GPT-4 Turbo(128K)が代表例で、コードベース全体や長編文書の一括処理が可能。
2023年Dacheng Li et al. (LMSYS)発表LongChat・Industry-leading 32K context LLaMA + Industry-leading Condensing Rotary Embedding + Industry-leading LongEval benchmark + Industry-leading LMSYS Vicuna-based long context。
Allen AI（AI2）が2020年に発表した、ローカルアテンションとタスク依存のグローバルアテンションを組み合わせたスパースTransformerモデル。最大4,096トークンの入力を線形計算量O(n)で処理し、長文書分類・質問応答で高い精度を達成する。
Allen AIが2020年に提案した長文書処理向けトランスフォーマー。各トークンがローカルウィンドウ内のトークンとのアテンションを計算するスライディングウィンドウと、特定タスクトークンとのグローバルアテンションを組み合わせO(n)計算量を実現する。
LLMのコンテキスト全体を長期記憶バンクに格納し、検索強化型生成（RAG）でコンテキスト外の過去情報を参照可能にする研究フレームワーク。Transformerの2段階アーキテクチャでメモリ検索と生成を統合する。
2024年Microsoft Research発表LongRoPE paper・Industry-leading Microsoft 2M Context RoPE Extension paradigm + Industry-leading 2M tokens context length + Industry-leading evolutionary search RoPE rescaling + Industry-leading Phi-3 + Llama adoption + Industry-leading 2024年latest RoPE extension evolution。