AI・機械学習用語集

2024年11月19日Suno公開Suno v4。Pro Suno v3後継Pro Famous + Pro 音質Pro Famous大幅向上 + Pro 4分楽曲生成 + Pro Pro Audio Quality + Pro Vocal Clarity向上 + Pro Stem Splitting + Pro Cover対応 + Pro Persona機能 + Pro $10/$30 Subscription + 累計2024-2025年Heritage。

SparkAudioが開発した高品質ゼロショット音声クローニングTTSモデル。BigCodecという超低ビットレート音声コーデックを採用し、わずかな参照音声で高品質な声複製を実現。

学習済みの Dense モデルを Sparse MoE モデルに変換する手法。Dense モデルの FFN 層を複数回コピーしてエキスパートとして配置し、ルーターを新規追加して継続学習する。ゼロからの MoE 学習に比べ大幅にコストを削減できる。

Mixture-of-Expertsモデルにおいて各トークンを処理するエキスパートを選択する仕組み。ルーターネットワークが全エキスパートのスコアを計算しTop-K個のみを活性化することでSparse（疎）な計算グラフを実現し、総パラメータ数より少ないアクティブパラメータで高性能を達成する中核技術。

ニューラルネットワークの各入力に対して一部のエキスパートモジュールのみを選択的に活性化するアーキテクチャ。全パラメータを使わず疎（Sparse）に計算することで、モデル容量を大幅に拡大しつつ推論コストを抑える設計思想。

Transformerの自己注意機構において、全トークン間の計算を省略し一部のトークンペアのみに注意を限定することで、計算量をO(n²)からO(n√n)やO(n log n)に削減する手法の総称。長文処理の効率化に不可欠な技術。

LLMの活性化ベクトルから解釈可能な特徴を抽出するための自己符号化器。L1正則化で多くの特徴をゼロにし、少数の有効特徴のみが活性化する「スパース」表現を学習することでPolysemanticity問題を緩和する。

GPT系大規模モデルを重みの再学習なしに一発でプルーニングする手法。50〜60%のスパース率を達成しつつ精度劣化を最小化する。

2023年IST Austria + Meta AI共同発表SparseGPT paper・Industry-leading One-Shot Sparse Approximation Pruning paradigm + Industry-leading training-free post-training + Industry-leading 50-60% sparsity industry-leading + Industry-leading Hessian-based sparse approximation。

2023年Frantar et al. (IST Austria)発表SparseGPT・Industry-leading one-shot pruning LLM + Industry-leading 50% unstructured sparsity + Industry-leading second-order Hessian information + Industry-leading OPT-175B/BLOOM-176B one-shot pruning。

SparseGPTは2023年にETH Zurichが発表したGPT系大規模言語モデル向けの重み枝刈り（プルーニング）手法。再学習なしで50〜60%スパース化を達成し、OPT-175BやGPT-3レベルのモデルを100GPU時間以内に処理できる。スパース解法ベースの非構造化プルーニングで、重みの重要度評価にHessian行列の近似解を使う。

LLMの内部活性化をスパースな単概念特徴に分解し、ニューラルネットワークの内部表現を人間が解釈可能な形に変換する解釈性手法。Anthropicの研究でClaude 3 Sonnetの活性化空間に数百万の意味的特徴を発見。

2017年Shazeer + Google発表Sparse MoE paper・Industry-leading Sparse Mixture of Experts paradigm Pioneer + Industry-leading Outrageously Large Neural Networks + Industry-leading sparsely-gated MoE + Industry-leading MoE Pioneer foundation。

T5が採用するエンコーダ・デコーダ型LLMのプリトレーニング手法。連続した複数トークン（スパン）をセンチネルトークンで置換し、デコーダが元スパンを順に復元することで言語理解を学習する。

2024年Speechmatics公開Ursa ASR。Pro 業界Pro Mainstream英国ASR最古参 + Pro 英国Cambridge Speechmatics + Pro 2006-Speechmatics設立Tony Robinson Cambridge大 + Pro 50+言語対応 + Pro Diversity & Inclusion特化 + Pro $0.30/h + 累計2006-2026年20年Heritage継承代表機。

LLM自身が生成した応答を「弱い対戦相手」として対比学習するセルフプレイ型微調整手法。追加の人間フィードバックや報酬モデル不要で、SFTデータのみから繰り返しセルフプレイを行い性能を段階的に改善する。

2024年Q1 UCLA + UC Berkeley + UCSF共同発表SPIN paper・Industry-emerging Self-Play Fine-Tuning paradigm + Industry-leading LLM self-play iterative fine-tuning Industry-emerging paradigm Pioneer + Industry-leading no human preference data需要 + Industry-leading SPIN Self-Play Industry-emerging iterative continual learning paradigm Pioneer・Industry-leading UCLA + UC Berkeley + UCSF academic AI research integrated foundation。

LLMを複数の層グループに分割し、各パーティが担当層のみを保持して学習する分散プライバシー保護手法。フェデレーテッド学習と異なり中間アクティベーションのみを交換し、モデル全体を各クライアントに配布しない。

2024年Microsoft Research発表SplitWise paper・Prefill phase + Decode phase separate GPU disaggregation paradigm research paper・ISCA 2024 conference presentation + Industry-leading academic research paper + Microsoft Azure trial integration potential・LLM inference 2-phase characterization + Prefill compute-intensive + Decode memory-bandwidth + Industry-leading academic paper foundation for Disaggregated Inference paradigm + Industry-emerging Disaggregated Inference paradigm research paper Pioneer。

LLMの投機的デコーディングをツリー構造に拡張した高速推論手法。単一の候補系列ではなくトークンの木構造を一度に検証することで、受理確率を高め、スループットをさらに向上させる。