AI・機械学習

GPU Sparsity Acceleration。Structured 2:4 Sparsity (Ampere/Ada/Blackwell・2x Acceleration)・Unstructured Sparsity (Pruning General)・Block Sparse (4×4/8×8 Block)・SparseTIR (Apache TVM)・cuSPARSE・Triton Sparse Kernel・Wanda+2:4 Pruning Pipeline・SparseGPT 50% Sparse・SpargeAttn (LLM Attention Sparse)・FlashAttention v3+Sparsity・¥0 OSS、2026年2:4 Native Sparsity Inference普及。

ノードベースStable Diffusion/FLUX/Wan UI。ComfyUI v0.3(2026年Q1)・ComfyUI Manager・ComfyUI Workflow JSON・LoRA/ControlNet/IPAdapter/InstantID/AnimateDiff・Flux Dev・Wan 2.1 Video・HunyuanVideo対応、2026年ワークフロー共有でCivitAI連携で業界標準。

Confidential AI Inference。Tinfoil AI (Y Combinator・H100 CC GPU)・Edgeless Systems Continuum AI (Privacy-Preserving)・Confidential Containers CoCo (CNCF・Kata Containers+Image Encryption)・Edgeless Constellation (Confidential k8s)・MarbleRun (Edgeless Service Mesh)・Apple Private Cloud Compute PCC・OpenAI ChatGPT Enterprise (No Train)・Google Cloud Confidential VM AI・¥¥¥¥¥¥/月、2026年Apple PCC他社追随予告。

Convolutional Neural Networkは、人工知能・機械学習分野における重要な概念・技術です。

HTTPベースの単方向ストリーミングプロトコル。サーバーからクライアントへテキストベースのイベントを持続的に送信でき、LLM APIのトークンストリーミングで標準的に採用されている通信方式。

量子誤り訂正符号の主流。Alexei Kitaev 1997年提案、2D格子状qubit配置でエラー検出+訂正、閾値1%以下なら距離増加でエラー指数的低減。

学習率を上限と下限の間で周期的に変動させる手法。loss landscapeの異なる領域を繰り返し探索し、より良いミニマムを発見する能力を高める。

BigCodeプロジェクトが公開したコード特化LLM事前学習データセット。619プログラミング言語・900億トークンを収録し、StarCoder2の訓練データとして使用。Software Heritageアーカイブを原料とし、Permissive Licenseコードのみを収録する。

LLMを充足可能性問題（SAT/SMT）の変換器として使い、外部ソルバー（Z3等）で厳密解を求めるニューロシンボリック推論手法。制約満足問題・数学的論理の厳密解に強い。

Meta AIが2024年発表の画像・動画対応ユニバーサルセグメンテーションモデル。Memory Encoderによるストリーミング処理で動画リアルタイムセグメンテーションを実現。

2024年SambaNova公開SN40L Reconfigurable Dataflow Unit。Three-tier Memory(HBM3+DDR5+SRAM)+5nm TSMC+638 TFLOPS BF16+1.5T parameter Trillion-scale Model対応搭載。

SambaNova Systems製AIチップ。RDU（Reconfigurable Dataflow Unit）アーキテクチャで再構成可能なデータフロー演算を実現し、Llama-3 405Bクラスの超大規模推論をオンプレミスで提供。

2024年Q1 SambaNova Systems (米Palo Alto・2017年Rodrigo Liang (CEO・元Sun Microsystems / Oracle CPU Architect・Stanford CS PhD) 創業・累計funding $1.1B+・Mubadala / Intel Capital / Walden / GV / SoftBank Vision Fund投資) 発表のCardinal SN40L・5nm TSMC process + Reconfigurable Dataflow Architecture (RDA) + 1,040 TFLOPS BF16 + HBM3 1.5TB total (across 256 chip Rack) + DRAM 12TB Rack-level・Trillion-Parameter Model (GPT-4 1.8T / Llama 4 1T) Single-Rack Inference対応・SambaNova Suite (Full-stack platform with pre-trained models) ・NVIDIA H100 / Cerebras WSE-3 / Tenstorrent Blackhole 競合のEnterprise AI Cloud Chip。

Sheared LLaMAはプリンストン大学が2023年に発表したLLM向け構造化プルーニング手法。LLaMA-2 7B/13Bを元に、ターゲット構造（例：1.3B/2.7Bパラメータ）を事前設定してレイヤー・ヘッド・FFN次元を一括削除し、その後50Bトークンの軽量ファインチューニングで性能を回復させる。削減幅が大きく（50%以上）、同サイズのゼロから学習したモデルに近い性能を低コストで達成する。

Alibaba DAMO Academyが2024年に開発した東南アジア言語特化LLM。タイ語・ベトナム語・インドネシア語・マレー語・クメール語など11言語に対応し、東南アジア固有の文化的コンテキストを学習した多言語モデル。

Group Relative Policy Optimization の略。DeepSeek R1 の強化学習訓練に使用された PPO 改良アルゴリズム。グループ内の相対報酬を利用してバリュー関数を不要にし、メモリ効率と学習安定性を大幅に改善した。

グループ内サンプルの相対報酬を用いてLLMを強化学習でファインチューニングする手法。DeepSeek-R1の訓練に採用され、報酬モデルなしで推論能力を大幅に向上させた。

DeepSeekが提案したPPOの軽量代替アルゴリズム。価値関数を排除しグループ内相対報酬でアドバンテージを推定することで、メモリ使用量を大幅に削減する。

Ohio State大学が2024年に発表したGPT-4V駆動のWeb操作エージェント。DOMとスクリーンショットの両情報を組み合わせたGrounding手法で、Webフォーム・ショッピング・情報収集などのブラウザタスクを自律実行する。

GELU は入力値をガウス分布の累積分布関数（CDF）で確率的にゲーティングする活性化関数であり、BERT・GPT-2・GPT-3・GPT-4 で採用され、Transformer ベースモデルにおける標準的な活性化関数として広く普及している。