AI・機械学習

長文脈LLMの推論デコード段階を高速化するアテンション計算最適化手法。FlashAttentionをデコード（逐次生成）に適応させ、KVキャッシュへのアクセスをシーケンス長方向に並列化することでメモリ帯域幅律速の問題を解消する。

報酬モデル訓練で標準的に使用されるペアワイズ比較の確率モデル。各応答の「強さ」パラメータから比較結果の確率を算出し、対数尤度最大化により報酬スコアを学習する。1952年にRA Bradleyと ME Terryが提案した統計モデルをLLM選好最適化に応用したものである。

LLMの強化学習から人間フィードバック（RLHF）で使用される比較ベースの報酬モデル。2つの出力の優劣比較データから絶対スコアを学習するペアワイズ手法。

FLAP（Fluctuation-based Adaptive Structured Pruning）は2024年にAn et al.が発表したLLM向け構造化プルーニング手法。特徴量の変動（fluctuation）を重要度指標とし、Attention headとFFNの中間ニューロンを再学習なしで構造的に削除する。LLaMA-2 7Bで20〜30%削除しながらperplexityの上昇をSparseGPT並みの1〜2ptに抑えられる。

Python製のオープンソースフェデレーテッド学習フレームワーク。LLMのLoRAアダプタ集約からスマートフォン分散学習まで対応し、2025年時点で最も広く使われるフェデレーテッドLLM実装基盤。

FLANはGoogle Researchが2021年に発表した、複数のNLPタスクを統一的な指示形式に変換してLLMをファインチューニングするInstruction Tuningの先駆的手法である。

複数のLLMから特定のTransformerレイヤーを選択的に抽出・結合し、元モデルより大きなパラメータ数の新モデルを構築するマージ手法。passthrough方式とも呼ばれる。

Googleが公開した大規模命令チューニング用データセット集。62のNLPデータセット・473タスク・1836テンプレートを統合し、Flan-T5およびFlan-PaLMの訓練に使用。Chain-of-Thought推論データを標準収録する点が特徴。

LLMのテキスト生成で同じトークンの繰り返しを抑制するパラメータ。Frequency Penaltyは既出トークンの出現回数に比例してペナルティを課し、Presence Penaltyは出現の有無に基づいて一律のペナルティを課す。両者を組み合わせることで自然で多様な出力を実現する。

Salesforce Research が 2023 年に発表したマルチモーダルモデル。凍結した視覚エンコーダと大規模言語モデルを Q-Former（Querying Transformer）で接続し、画像テキスト埋め込みと視覚的質問応答を実現する。

Pre Trained Model（事前学習モデル）は、現代のAI・機械学習分野において不可欠な技術です。この解説では、その基本概念から具体的な活用方法、そして将来展望まで、初心者から上級者まで理解できるよう詳細に解説します。PC自作における重要性や、関連技術との繋がりも掘り下げていきます。

Transformerブロック内での正規化層（LayerNorm/RMSNorm）の配置位置を指す設計パターン。Post-Normは元祖Transformerで採用された「サブレイヤー後に正規化」する方式、Pre-Normは「サブレイヤー前に正規化」する方式。GPT-2以降の大規模LLMではPre-Normが標準。

BLEUは機械翻訳の精度を測るn-gram一致率ベースの指標、ROUGEはテキスト要約の品質を再現率ベースで測定する指標。いずれも参照テキストとの一致度を数値化するが、意味的な類似度は捕捉しきれない限界がある。

Stanford大学が提案したコスト効率的なLLM利用戦略。複数のLLM APIをカスケード式に利用し、安価なモデルから順に試行して品質基準を満たせば強モデルへのエスカレーションをスキップすることで、GPT-4同等の品質をコスト98%削減で実現できることを示した。

Model Pruning+Distillation。Magnitude Pruning・Wanda (Weight*Activation・Stanford)・SparseGPT (Massachusetts)・LLM-Pruner・SliceGPT (Microsoft)・Knowledge Distillation (KD・Teacher→Student)・MiniLM v2/v3 Microsoft・DistilBERT・TinyLlama 1.1B・SmolLM2 1.7B (HF)・Llama 3.2 1B/3B Distill・Phi-4 14B (Distill 2026)・MobileLLM Meta・Layer Skip・SpargeAttention・¥0 OSS、2026年Knowledge Distill小型LLM主流。

BigScienceコンソーシアムが2022年に公開した176Bパラメータの多言語大規模言語モデル。46言語と13種のプログラミング言語に対応し、ROOTS 1.6TBコーパスで訓練。多機関・多国籍の協調研究成果として注目された。

Bloombergが2023年に発表した500億パラメータの金融特化LLM。3,630億トークンの金融データで学習し、金融NLPタスクで汎用LLMを大幅に上回る性能を示す。

事前学習済みLLMの全パラメータを対象データセットで再学習する手法。最も高い精度を達成できるが、モデル全体のパラメータ（数十億〜数千億個）を更新するため、大量のGPU VRAMと計算時間を要する。LoRAやQLoRAなどPEFT手法の対極に位置する。

2016年設立PlayHT(2024-Pro Play 3.0 Mini公開)。Pro 業界Mainstream Voice AI/TTS + Pro 142+言語対応Top独占 + Pro Voice Cloning + Pro Real-time TTS + Pro PlayDialog + Pro Y Combinator卒 + Pro $0-$99/月 Subscription + 2024-Pro Play 3.0 Mini + 累計2016-2025年9年Heritage。

Pre-Norm と Post-Norm は、Transformer アーキテクチャにおける正規化レイヤー（LayerNorm / RMSNorm）の配置パターンを指す。Pre-Norm は残差接続の入力側に、Post-Norm は出力側に正規化を配置する。Pre-Norm は学習の安定性に優れ、Post-Norm は最終的な精度でわずかに優れるとされ、2026年現在の主要 LLM の大半は Pre-Norm を採用している。