AI・機械学習用語集

Googleが公開した大規模命令チューニング用データセット集。62のNLPデータセット・473タスク・1836テンプレートを統合し、Flan-T5およびFlan-PaLMの訓練に使用。Chain-of-Thought推論データを標準収録する点が特徴。

LLMのテキスト生成で同じトークンの繰り返しを抑制するパラメータ。Frequency Penaltyは既出トークンの出現回数に比例してペナルティを課し、Presence Penaltyは出現の有無に基づいて一律のペナルティを課す。両者を組み合わせることで自然で多様な出力を実現する。

Salesforce Research が 2023 年に発表したマルチモーダルモデル。凍結した視覚エンコーダと大規模言語モデルを Q-Former（Querying Transformer）で接続し、画像テキスト埋め込みと視覚的質問応答を実現する。

Pre Trained Model（事前学習モデル）は、現代のAI・機械学習分野において不可欠な技術です。この解説では、その基本概念から具体的な活用方法、そして将来展望まで、初心者から上級者まで理解できるよう詳細に解説します。PC自作における重要性や、関連技術との繋がりも掘り下げていきます。

Transformerブロック内での正規化層（LayerNorm/RMSNorm）の配置位置を指す設計パターン。Post-Normは元祖Transformerで採用された「サブレイヤー後に正規化」する方式、Pre-Normは「サブレイヤー前に正規化」する方式。GPT-2以降の大規模LLMではPre-Normが標準。

BLEUは機械翻訳の精度を測るn-gram一致率ベースの指標、ROUGEはテキスト要約の品質を再現率ベースで測定する指標。いずれも参照テキストとの一致度を数値化するが、意味的な類似度は捕捉しきれない限界がある。

Stanford大学が提案したコスト効率的なLLM利用戦略。複数のLLM APIをカスケード式に利用し、安価なモデルから順に試行して品質基準を満たせば強モデルへのエスカレーションをスキップすることで、GPT-4同等の品質をコスト98%削減で実現できることを示した。

Model Pruning+Distillation。Magnitude Pruning・Wanda (Weight*Activation・Stanford)・SparseGPT (Massachusetts)・LLM-Pruner・SliceGPT (Microsoft)・Knowledge Distillation (KD・Teacher→Student)・MiniLM v2/v3 Microsoft・DistilBERT・TinyLlama 1.1B・SmolLM2 1.7B (HF)・Llama 3.2 1B/3B Distill・Phi-4 14B (Distill 2026)・MobileLLM Meta・Layer Skip・SpargeAttention・¥0 OSS、2026年Knowledge Distill小型LLM主流。

プルーニング蒸留とは、モデルの冗長なパラメータを除去するプルーニング（枝刈り）と、教師モデルの知識を転移する蒸留を組合せたLLM圧縮技術で、単体手法より高い圧縮率と性能維持を両立する。

BigScienceコンソーシアムが2022年に公開した176Bパラメータの多言語大規模言語モデル。46言語と13種のプログラミング言語に対応し、ROOTS 1.6TBコーパスで訓練。多機関・多国籍の協調研究成果として注目された。

Bloombergが2023年に発表した500億パラメータの金融特化LLM。3,630億トークンの金融データで学習し、金融NLPタスクで汎用LLMを大幅に上回る性能を示す。

事前学習済みLLMの全パラメータを対象データセットで再学習する手法。最も高い精度を達成できるが、モデル全体のパラメータ（数十億〜数千億個）を更新するため、大量のGPU VRAMと計算時間を要する。LoRAやQLoRAなどPEFT手法の対極に位置する。

事前学習済みLLMの全パラメータを対象データセットで更新するファインチューニング手法。最高の性能を達成できるが、モデル全体の重み・勾配・オプティマイザ状態をGPUメモリに保持する必要があり、計算コストが極めて高い。7Bモデルで約60GB、70Bモデルで約600GBのVRAMが必要。LoRA/QLoRA等のPEFT手法と対比される。

LLMの全パラメータを更新する完全なファインチューニング手法。LoRA等の部分的更新と対比し、最高の性能適応が得られるが大量のGPUメモリと計算コストを要する。

2016年設立PlayHT(2024-Pro Play 3.0 Mini公開)。Pro 業界Mainstream Voice AI/TTS + Pro 142+言語対応Top独占 + Pro Voice Cloning + Pro Real-time TTS + Pro PlayDialog + Pro Y Combinator卒 + Pro $0-$99/月 Subscription + 2024-Pro Play 3.0 Mini + 累計2016-2025年9年Heritage。

Pre-Norm と Post-Norm は、Transformer アーキテクチャにおける正規化レイヤー（LayerNorm / RMSNorm）の配置パターンを指す。Pre-Norm は残差接続の入力側に、Post-Norm は出力側に正規化を配置する。Pre-Norm は学習の安定性に優れ、Post-Norm は最終的な精度でわずかに優れるとされ、2026年現在の主要 LLM の大半は Pre-Norm を採用している。

LLM APIにおいて、複数リクエストに共通するプロンプト先頭部分（プレフィックス）の処理結果をキャッシュし、後続リクエストでの再計算をスキップすることで応答速度とコストを改善する技術。

推論エンジンレベルで複数リクエスト間の共通入力プレフィックスを検出し、KVキャッシュを自動的に共有・再利用する技術。vLLMのAutomatic Prefix Caching（APC）やSGLangのRadixAttentionが代表的な実装で、マルチテナント環境でのスループットを大幅に向上させる。

LLMの推論においてプロンプトの前半（プレフィックス）のKVキャッシュを保存・再利用することで、同じシステムプロンプトを繰り返し使うコストとレイテンシを削減する最適化技術。

LLM推論の最適化技術。同一のプレフィックス（システムプロンプト・文書等）のKVキャッシュを複数リクエスト間で再利用することで、初回以外のTTFTを最大90%削減しAPIコストを大幅削減する。