2990件の用語
SliceGPTはMicrosoft Researchが2024年に発表したLLM向け構造化プルーニング手法。行列スライシング（次元削減）によってTransformerの隠れ次元dmodelを削減し、再学習なしで20〜30%のパラメータ削減を達成しながら推論高速化を実現する。SparseGPT・Wandaの非構造化スパース化と異なり、削除後のモデルは標準的な密行列として実行できる。
Transformerのセルフアテンション計算を固定幅のローカルウィンドウに制限し、計算量をO(n²)からO(n×w)に削減する手法。Mistral 7Bで採用されたことで広く知られ、Longformer、BigBirdなどの先行研究を実用レベルに昇華させた。ロングコンテキスト対応の基盤技術の一つ。
Transformerの自己注意機構で、各トークンが全トークンではなく固定幅のウィンドウ内のトークンのみに注意を向ける手法。計算量をO(n²)からO(n×w)に削減し（wはウィンドウ幅）、長系列の効率的な処理を可能にする。Mistralモデルで実用化された。
Transformerの各トークンがアテンションを計算する範囲を固定ウィンドウサイズに制限する手法。全トークン間のアテンション計算（O(n²)）を局所範囲に限定することで長文脈処理を効率化する。
Transformerの自己注意機構において、各トークンが固定幅のウィンドウ内にある隣接トークンのみに注意を向けるローカルアテンションの実装手法。Mistral 7Bで広く知られ、FlashAttention-2以降でハードウェアレベルの最適化が進んだ。計算量はO(n×w)でwはウィンドウ幅。
スライディングウィンドウアテンション（Sliding Window Attention, SWA）とは、各トークンが全トークンではなく周囲の固定幅ウィンドウ（通常1,024〜4,096トークン）内のトークンのみに注意を向けるローカルアテンション手法である。計算量をO(n^2)からO(n * w)に削減しつつ、複数層を積み重ねることで実効的な受容野を拡大する。Mistral 7Bがウィンドウ幅4,096で採用し、長文処理の効率化手法として広く知られるようになった。
2024年2月14日Salesforce/Slack公開Slack AI。Pro 業界Pro Mainstream Chat SaaS AI Top + Pro Channel Recap Pro Famous + Pro Conversation Summary + Pro $10/月/User + Pro Salesforce買収 + 2024-09 Pro Slack AI Translation + 2025-Pro Agentforce統合 + 累計2024-2025年Heritage。
LLM大規模訓練の3つの並列化戦略の組み合わせ。データ並列（DP）・テンソル並列（TP）・パイプライン並列（PP）を同時に適用し、数千GPUでの効率的な訓練を実現する。Megatron-LMとDeepSpeedで実装されGPT-3規模以上のモデル訓練の標準手法。
データ並列（DP）・テンソル並列（TP）・パイプライン並列（PP）の3つの並列化手法を同時に組み合わせた大規模分散学習戦略。数百〜数千GPUでの効率的なLLM学習を実現し、Megatron-LMやDeepSpeedが代表的な実装。
2017年のオリジナルTransformer論文で提案された位置エンコーディング手法。正弦（sin）と余弦（cos）関数を異なる周波数で組み合わせ、各位置に一意のベクトルを割り当てる。学習パラメータ不要で決定論的に生成される。
Transformer論文（Vaswani et al., 2017）で提案された位置エンコーディングの元祖。sin関数とcos関数を異なる周波数で組み合わせることで、各位置に一意のベクトルを割り当てる。学習パラメータが不要で、理論上は任意の長さの系列に対応可能。
生成AIエージェント（Generative AI Agents）は、大規模言語モデル（LLM）やその他の生成AIモデルを基盤として、自律的にタスクを実行し、環境と相互作用する能力を持つ知的システムです。2024年以降、企業の業務自動化や意思決定支援において急速に普及しており、PC自作においては高度なタスク自動化やスマートホーム構築への応用が期待されています。本稿では、生成AIエージェントの技術仕様
清華大学らが2024年に提案した、アテンション計算をINT8/低ビットへ量子化して高速化する手法。スムージングと精密なスケーリングでSoftmax前後の精度を保ちつつ、FlashAttention比で大幅な高速化を実現するプラグイン型カーネル。
2016年9月19日Salesforce公開Einstein。Pro 業界初Mainstream CRM SaaS AI Top先駆 + Pro Predictive AI出発点 + Pro Marc Benioff Pro CEO主導 + Pro Sales/Service/Marketing Cloud統合 + 2024-Pro Einstein 1 Studio + 2024-Pro Agentforce + 2025-Pro Agentforce 2 + 累計2016-2025年9年Heritage。
LLMが他者の信念・意図・欲求・知識状態を推論する能力。人間の社会的認知の中核であり、AIの社会的知性の評価指標として注目。
画像 / データを意味的に区分する処理。コンピュータビジョンでは画像内の物体ごとに領域分割、ML では顧客クラスタリング、メモリ管理ではアドレス空間分割等の文脈で使われる。
Sesame AIが開発した1Bパラメータの会話特化音声モデル（Conversational Speech Model）。自然な会話の間・相づち・文脈認識を持つ音声合成を実現。
2024年Zed Industries公開Zed Editor Native Rust製AI Code Editor。Pro 業界Pro Mainstream Native Rust製AI Code Editor先駆 + Pro 米国Berkeley Zed Industries + Pro 2021-Zed Industries設立 + Pro Native Rust + GPU加速 + Pro Multi-buffer + Pro Free + $20/月Pro + 累計2021-2026年5年Heritage継承代表機。
LLM学習の安定化のためにロジット値の絶対値を正則化する補助損失。PaLMで導入され、MoEモデルのルーター崩壊防止にも活用される。
2024年Zep AI公開Zep Cloud。Pro 業界Pro Mainstream商用Long-term Memory + Pro 米国Hawthorne Zep AI + Pro 2023-Zep AI設立Daniel Chalef + Pro Knowledge Graph + Pro Temporal Knowledge Graph + Pro Cypher Query + Pro Neo4jベース + Pro $0.01/Memory + 累計2023-2026年3年Heritage継承代表機。