AI・機械学習用語集

LLMのプロンプトキャッシュやKVキャッシュが有効に保持される期間（Time To Live）。TTL経過後はキャッシュが破棄され、次回リクエスト時に再計算が必要となる。

LLM推論においてプロンプトキャッシュが再利用された割合。ヒット率が高いほど入力トークンの再計算が省略され、レイテンシとコストが削減される。

セマンティックキャッシュの無効化戦略は、TTL（時間ベース）、コンテキスト変化検出、手動パージの3手法を組み合わせ、古い応答を適切に排除する仕組みである。

2022年9月Character.AI公開。Pro 業界Pro Mainstream Roleplay AI Character Top + Pro Noam Shazeer + Daniel De Freitas Pro Co-founders + Pro 元Google LaMDA研究員 + Pro 1000万+ Character + Pro $1B Valuation 2023 + 2024-08 Google $2.7B Pro Famous Licensing買収 + 2025-Pro Character v2 + 累計2022-2025年3年Heritage。

2024年Canva公開Magic Studio。Pro 業界Pro Mainstream Designer向けAI統合Suite Top + Pro オーストラリアSydney Canva + Pro Melanie Perkins Pro CEO + Pro Magic Write/Design/Edit/Switch + Pro Leonardo AI買収 + Pro $40B Valuation + 累計2013-2026年13年Heritage継承代表機。

Qwen3-Embedding-8Bは、テキストデータを高次元の数値ベクトル（埋め込み）に変換するための専門的なモデルです。文章の意味的情報を効率的に捉え、類似度検索や高度な意味理解処理に利用されます。

AlibabaがリリースしたオープンソースのVision-Language Model。Native Dynamic ResolutionとM-RoPEにより任意解像度の画像と最大20分超の動画を処理し、GPT-4oと同等以上の動画QA性能を持つ。

Alibabaが2025年初頭に公開したQwen2.5シリーズのMoEバリアント。総パラメータ57B・有効パラメータ14.3Bで、Qwen2.5-32B密モデルを大幅に下回るコストで同等性能を達成。

Alibaba Cloudが開発した32Bパラメータのコード生成特化LLM。170億トークンのコードデータで学習し、HumanEvalで92.7%を達成。

Alibaba/Qwen TeamのビジョンLLMシリーズ最新版。7B〜72Bの4サイズ展開で、動画理解・エージェント操作・ドキュメント解析に強みを持ちオープンソースVLMの2025年標準候補。

Alibaba QwenチームによるQwen2.5シリーズの数学特化モデル。72Bパラメータで英中バイリンガル数学推論に対応し、MATH・AMC・AIME等の競技数学ベンチマークでオープンソース最高水準を達成。

AlibabaのQwenチームが開発した推論特化モデルシリーズ。QwQ-32Bは320億パラメータで数学・科学・コーディングの推論能力に特化し、オープンソースで公開されている。

Alibaba CloudのQwen2シリーズにおけるMoEバリアント。57B総パラメータのうち14Bをアクティブ化し、多言語対応（29言語）と日本語処理に優れる中規模MoEモデル。

Alibaba Cloudが2024年9月に公開した70億パラメータの命令追従型言語モデル。128Kコンテキスト・29言語対応・18兆トークン訓練で、7Bクラス最高水準のコーディング・数学性能を誇る。

LLM学習安定化のためにAttentionのQuery・Keyベクトルに適用するRMSNorm技術。アテンションエントロピー崩壊を防ぐ。

QK-Norm（Query-Key Normalization）は、Transformer の Self-Attention 機構において Query と Key のベクトルを正規化する手法であり、注意重みのスケールを安定させることで学習の安定性と推論の数値精度を向上させる。ViT-22B、Gemma 2、Chameleon など大規模モデルで採用されており、特に長系列・大次元のモデルで注意スコアのオーバーフローを防止する効果がある。

AlibabaのQwenチームが2025年3月に公開したオープンソース推論モデル。32Bパラメータながら数学・論理推論でo1-miniに匹敵し、Apache 2.0ライセンスで無料利用可能。

QLoRA（Quantized Low-Rank Adaptation）とは、4ビット量子化されたベースモデル上でLoRAアダプタを学習する効率的なファインチューニング手法である。Washington大学のDettmersらが2023年に発表し、48GBのGPU 1枚で65Bパラメータモデルのファインチューニングを可能にした。

2024年成熟QLoRA・Industry-leading LoRA + 4-bit NF4 NormalFloat quantization + Industry-leading double quantization + Industry-leading 65B on single 48GB GPU + Industry-leading UW Tim Dettmers QLoRA MIT 4-bit memory-efficient fine-tuning method 2024。

4ビット量子化とLoRAを組み合わせた効率的なLLMファインチューニング手法。Tim Dettmers et al.（2023）提案。単一GPUで65Bパラメータモデルのファインチューニングを可能にした。