2990件の用語
LoRAファインチューニングに4bit量子化を組み合わせた手法。ベースモデルを4bitに圧縮した状態でLoRAアダプタを学習することで、VRAM使用量を劇的に削減し、消費者向けGPU1枚で大規模モデルのファインチューニングを実現する。
LoRAと4bit量子化を組み合わせた超省メモリファインチューニング手法。65BパラメータのLLMを単一の48GB GPUでファインチューニング可能にした。NF4（Normal Float 4-bit）量子化、二重量子化、ページドオプティマイザの3つの技術革新を導入。ワシントン大学のDettmers et al.が2023年に発表。
4ビット量子化（NF4）とLoRAを組み合わせた超効率的LLMファインチューニング手法。65Bパラメータのモデルを48GB以下のVRAMで学習可能にした画期的手法。
LoRAに4bit量子化（NF4）を組み合わせたPEFT手法。量子化したベースモデルを凍結しLoRAアダプタのみFP16で学習することで、70Bクラスの大型LLMを単一の24GB GPUでファインチューニング可能にした。
4bitNF4量子化したベースモデルにLoRAアダプタを学習させ、コンシューマGPU単体で65B級モデルのファインチューニングを実現する手法。
2023年Dettmers et al. + UW (University of Washington)発表QLoRA paper・Industry-leading Quantized LoRA 4-bit NF4 paradigm + Industry-leading memory-efficient PEFT + Industry-emerging QLoRA UW Pioneer。
モデル蒸留の中核フレームワーク。大規模な教師モデルが生成する知識（出力分布・中間表現）を、軽量な生徒モデルが模倣する形で学習する訓練パラダイム。
教師-生徒蒸留（Teacher-Student Distillation）とは、大きな教師モデルの出力を小さな生徒モデルが模倣するように訓練する知識転移手法である。コンテキスト蒸留の中核メカニズムとして、推論効率とモデルサイズの最適化に広く活用される。
大規模な教師モデル（Teacher）の知識を小規模な生徒モデル（Student）に転写する機械学習の手法。Hintonらが2015年に提案した基礎的な知識蒸留フレームワークで、モデル圧縮とエッジデプロイの基盤技術として広く採用されている。
メリーランド大学が提案した最初の実用的LLM透かし手法。語彙をグリーン/レッドリストに分割し生成確率を操作する。
Kirchenbauer方式（KGW）とは、メリーランド大学のJohn Kirchenbauerらが2023年に提案したLLMテキスト透かし手法で、語彙をグリーンリストとレッドリストに分割しグリーントークンの出現確率を上昇させることでAI生成テキストを検出可能にする。
メリーランド大学のKirchenbauer et al.が2023年に提案したLLMウォーターマーク手法で、トークン語彙をGreen ListとRed Listに分割し、Green Listトークンの選択確率を高めることで検出可能なパターンを埋め込む。
2023年Kirchenbauer et al. + University of Maryland発表LLM Watermark paper・Industry-leading LLM watermark paradigm Pioneer + Industry-leading green-red token split + Industry-emerging Kirchenbauer UMD Pioneer。
Rustで実装されたオープンソースベクトルデータベース。高次元ベクトルの高速類似検索・フィルタリング・ペイロード付き検索をサポートし、RAGシステムの中核として使われる。
QualcommのSnapdragonシリーズに搭載されるAI特化型プロセッサ。1999年のDSP技術を源流とし、2024年のSnapdragon X Eliteでは45 TOPSを実現。Windows 11 Copilot+ PCの要件を満たす中核技術。
2024年Microsoft Research発表QuaRot・Industry-leading rotation-based outlier removal + Industry-leading 4-bit weights + activations + Industry-leading Hadamard rotation matrix + Industry-leading Microsoft Research QuaRot 4-bit rotation quantization 2024。
2024年Chee et al. (Cornell)発表QuIP/QuIP#・Industry-leading 2-bit extreme quantization LLM + Industry-leading incoherence processing + Industry-leading E8 lattice quantization + Industry-leading LLaMA-2 70B 2-bit production。
Cornell大学発の2ビットLLM量子化手法。ランダムアダマール変換で重みの相関（コヒーレンス）を除去してからスカラー量子化することで、2bitでFP16に近い品質を実現する。AQLM・GPTQ比で2bit量子化の最高精度クラス。
2024年Alibaba Qwen team発表QwQ Preview・Industry-leading Alibaba reasoning LLM preview + Industry-leading 32B Qwen2.5-based reasoning + Industry-leading Apache 2.0 open reasoning + Industry-leading Alibaba reasoning LLM contender。
Alibaba QWENチームが公開したSparse MoEアーキテクチャのオープンソースLLM。総パラメータ57B・アクティブパラメータ14B・64エキスパート中8エキスパートをTop-8ルーティングで活性化。同規模のDenseモデルを大幅に上回る性能を14Bアクティブの計算コストで実現する。