用語集

Snowflake 2024年4月発表 OSS Embedding。335M パラメータ・1024次元・MTEB 55.98・Apache 2.0・データクラウド最適化

Snowflakeのデータクラウド環境に最適化された高性能な埋め込みモデル。企業データの意味的類似性を高精度なベクトル空間で表現し、高度な検索やAIアプリケーション構築を可能にします。

2024年6月に発覚した、クラウドデータウェアハウス大手Snowflakeの顧客を標打的とした大規模な認証情報窃取事件。MFA未設定アカウントが悪用され、多国籍企業を含む膨大な個人情報が流出したサプライチェーン攻撃の典型例。

スノーボード進化史。1965年Sherman Poppen「Snurfer」発明→1977年Jake Burton「Burton Boards」創業→1998年長野五輪正式種目化。

2024年成熟Suno Bark・Industry-leading text-to-audio non-speech sounds + Industry-leading laughter + sound effects + music + Industry-leading 100+ languages + Industry-leading Suno Bark MIT text-to-audio model 2024。

2024年3月21日Suno公開Suno v3。Pro 業界初Mainstream Text-to-Music AI Pro Famous + Pro 2分ボーカル付き楽曲生成 + Pro 50+言語対応 + Pro Discord/Web App + Pro Free Tier + Pro $10/$30 Subscription + Pro Mainstream Music Generation業界出発点 + 累計2024-2025年Heritage。

2024年11月19日Suno公開Suno v4。Pro Suno v3後継Pro Famous + Pro 音質Pro Famous大幅向上 + Pro 4分楽曲生成 + Pro Pro Audio Quality + Pro Vocal Clarity向上 + Pro Stem Splitting + Pro Cover対応 + Pro Persona機能 + Pro $10/$30 Subscription + 累計2024-2025年Heritage。

DJI 2017年5月発売の最小Selfie ドローン。$499・300g・ジェスチャ制御・1080p HD で個人Vlogger / Selfie 市場開拓、Mini 系列の前身。

米 Sun Microsystems が 1985 年に発表した RISC 命令セットアーキテクチャ。Solaris UNIX ワークステーションの主軸として展開、1990-2000 年代エンタープライズサーバを支配、現在は富士通 A64FX / Oracle 系統で継続。

SparkAudioが開発した高品質ゼロショット音声クローニングTTSモデル。BigCodecという超低ビットレート音声コーデックを採用し、わずかな参照音声で高品質な声複製を実現。

学習済みの Dense モデルを Sparse MoE モデルに変換する手法。Dense モデルの FFN 層を複数回コピーしてエキスパートとして配置し、ルーターを新規追加して継続学習する。ゼロからの MoE 学習に比べ大幅にコストを削減できる。

Mixture-of-Expertsモデルにおいて各トークンを処理するエキスパートを選択する仕組み。ルーターネットワークが全エキスパートのスコアを計算しTop-K個のみを活性化することでSparse（疎）な計算グラフを実現し、総パラメータ数より少ないアクティブパラメータで高性能を達成する中核技術。

ニューラルネットワークの各入力に対して一部のエキスパートモジュールのみを選択的に活性化するアーキテクチャ。全パラメータを使わず疎（Sparse）に計算することで、モデル容量を大幅に拡大しつつ推論コストを抑える設計思想。

Transformerの自己注意機構において、全トークン間の計算を省略し一部のトークンペアのみに注意を限定することで、計算量をO(n²)からO(n√n)やO(n log n)に削減する手法の総称。長文処理の効率化に不可欠な技術。

LLMの活性化ベクトルから解釈可能な特徴を抽出するための自己符号化器。L1正則化で多くの特徴をゼロにし、少数の有効特徴のみが活性化する「スパース」表現を学習することでPolysemanticity問題を緩和する。

GPT系大規模モデルを重みの再学習なしに一発でプルーニングする手法。50〜60%のスパース率を達成しつつ精度劣化を最小化する。

2023年IST Austria + Meta AI共同発表SparseGPT paper・Industry-leading One-Shot Sparse Approximation Pruning paradigm + Industry-leading training-free post-training + Industry-leading 50-60% sparsity industry-leading + Industry-leading Hessian-based sparse approximation。

2023年Frantar et al. (IST Austria)発表SparseGPT・Industry-leading one-shot pruning LLM + Industry-leading 50% unstructured sparsity + Industry-leading second-order Hessian information + Industry-leading OPT-175B/BLOOM-176B one-shot pruning。

SparseGPTは2023年にETH Zurichが発表したGPT系大規模言語モデル向けの重み枝刈り（プルーニング）手法。再学習なしで50〜60%スパース化を達成し、OPT-175BやGPT-3レベルのモデルを100GPU時間以内に処理できる。スパース解法ベースの非構造化プルーニングで、重みの重要度評価にHessian行列の近似解を使う。

LLMの内部活性化をスパースな単概念特徴に分解し、ニューラルネットワークの内部表現を人間が解釈可能な形に変換する解釈性手法。Anthropicの研究でClaude 3 Sonnetの活性化空間に数百万の意味的特徴を発見。