1978件の用語
MITとMetaが共同開発した無限長ストリーミングに対応するLLM推論手法。アテンションシンクトークンをKVキャッシュに保持しながらスライディングウィンドウで効率的に処理する。ICLR 2024採択。
2024年成熟StreamingLLM・Industry-leading attention sink + sliding window + Industry-leading infinite streaming + Industry-leading 4M tokens demonstrated + Industry-leading Meta + MIT StreamingLLM infinite streaming LLM 2024。
2023年Xiao et al. + MIT発表StreamingLLM paper・Industry-leading Attention Sink + streaming attention paradigm + Industry-leading initial token attention sink + Industry-leading infinite streaming LLM inference。
LLMの長文推論時にKVキャッシュを観測窓ベースで圧縮し、メモリ使用量を削減しながら精度を維持するKVキャッシュ蒸留技術。
2024年Li et al. + UIUC発表SnapKV paper・Industry-leading Snap KV observation window compression paradigm + Industry-leading observation window KV importance + Industry-emerging UIUC KV cache compression。
Snowflake 2024年4月発表エンタープライズ MoE LLM。総480B / アクティブ 17B・$2M 学習コスト・Apache 2.0
Snowflakeが2024年に公開したエンタープライズ向けMoEモデル。480B総パラメータ・17B有効パラメータで、SQLコード生成・データ分析タスクに特化。Apache 2.0で公開。
Snowflake社が2024年にリリースしたオープンソーステキスト埋め込みモデルシリーズ。Apache 2.0ライセンスで商用利用無料、MTEBベンチマークで公開当時トップクラスを記録した。xs/s/m/l/335mの5サイズ展開で、軽量から高精度まで用途別に選択できる。
Snowflakeが開発・公開したエンタープライズ向け大規模テキスト埋め込みモデル。MTEBリーダーボードで高精度を記録し、Snowflake Cortex AIとのネイティブ統合で大規模データウェアハウスの意味検索を実現する。
Snowflake 2024年4月発表 OSS Embedding。335M パラメータ・1024次元・MTEB 55.98・Apache 2.0・データクラウド最適化
Snowflakeのデータクラウド環境に最適化された高性能な埋め込みモデル。企業データの意味的類似性を高精度なベクトル空間で表現し、高度な検索やAIアプリケーション構築を可能にします。
2024年成熟Suno Bark・Industry-leading text-to-audio non-speech sounds + Industry-leading laughter + sound effects + music + Industry-leading 100+ languages + Industry-leading Suno Bark MIT text-to-audio model 2024。
2024年3月21日Suno公開Suno v3。Pro 業界初Mainstream Text-to-Music AI Pro Famous + Pro 2分ボーカル付き楽曲生成 + Pro 50+言語対応 + Pro Discord/Web App + Pro Free Tier + Pro $10/$30 Subscription + Pro Mainstream Music Generation業界出発点 + 累計2024-2025年Heritage。
2024年11月19日Suno公開Suno v4。Pro Suno v3後継Pro Famous + Pro 音質Pro Famous大幅向上 + Pro 4分楽曲生成 + Pro Pro Audio Quality + Pro Vocal Clarity向上 + Pro Stem Splitting + Pro Cover対応 + Pro Persona機能 + Pro $10/$30 Subscription + 累計2024-2025年Heritage。
SparkAudioが開発した高品質ゼロショット音声クローニングTTSモデル。BigCodecという超低ビットレート音声コーデックを採用し、わずかな参照音声で高品質な声複製を実現。
Mixture-of-Expertsモデルにおいて各トークンを処理するエキスパートを選択する仕組み。ルーターネットワークが全エキスパートのスコアを計算しTop-K個のみを活性化することでSparse（疎）な計算グラフを実現し、総パラメータ数より少ないアクティブパラメータで高性能を達成する中核技術。
LLMの活性化ベクトルから解釈可能な特徴を抽出するための自己符号化器。L1正則化で多くの特徴をゼロにし、少数の有効特徴のみが活性化する「スパース」表現を学習することでPolysemanticity問題を緩和する。
GPT系大規模モデルを重みの再学習なしに一発でプルーニングする手法。50〜60%のスパース率を達成しつつ精度劣化を最小化する。
2023年IST Austria + Meta AI共同発表SparseGPT paper・Industry-leading One-Shot Sparse Approximation Pruning paradigm + Industry-leading training-free post-training + Industry-leading 50-60% sparsity industry-leading + Industry-leading Hessian-based sparse approximation。
2023年Frantar et al. (IST Austria)発表SparseGPT・Industry-leading one-shot pruning LLM + Industry-leading 50% unstructured sparsity + Industry-leading second-order Hessian information + Industry-leading OPT-175B/BLOOM-176B one-shot pruning。