AI・機械学習

Transformerの2層以上のモデルで自発的に出現する回路。[A][B]→[A]のパターンを学習し、文脈内学習（in-context learning）の基盤となる注意ヘッドのペア。Anthropic 2022年の発見。

Transformerモデルに共通して存在する注意ヘッドのパターンで、[A][B]...→[A]というコンテキストを認識して[B]を予測する機能を持つ。In-context Learningの根幹メカニズムとして特定されたMechanistic Interpretabilityの重要発見。

4bit整数量子化フォーマット。FP16比で4倍圧縮・2-3倍推論速度を実現し、LLM（Llama 3 70B・GPT-OSS 20B）のローカル実行で必須。NVIDIA TensorRT-LLMやGGUF Q4_K_M形式で広く利用。

Intelの第3世代AIアクセラレータ。5nmプロセス、HBM3e搭載、最大1.84PFLOPS のAI性能を実現し、大規模言語モデル(LLM)の学習・推論を高速化。

IntelがHabana Labsの技術を用いて開発した、AI学習・推論に特化した第3世代HPU。NVIDIA GPUに対するコスト効率の高い代替案として設計されており、大規模なAIインフラ構築を目的としている。

Intel製AI学習・推論アクセラレータ。HBMe2搭載・BF16 1835 TFLOPS・RoCE対応ネットワークで構成コスト削減を目指すH100対抗モデル。

8ビット整数演算を使用したAI推論処理。従来の32ビット浮動小数点演算と比較して、4倍高速で消費電力を大幅に削減しながら、実用的な精度を維持。

Inference Engineは、人工知能・機械学習分野における重要な概念・技術です。

本番LLM推論エンジン比較。vLLM 0.7+ (PagedAttention・Continuous Batching・FP8・Speculative Decoding)・SGLang 0.4 (RadixAttention・Constrained Decoding)・HuggingFace TGI 3.0・TensorRT-LLM 0.18 (NVIDIA最強・FP8/INT8)・MLC LLM・LMDeploy 0.7・Ray Serve・vLLM AscendとIntel・Mistral.rs (Rust)・¥0 OSS、2026年vLLM企業デファクト。

2024年Munkhdalai et al. + Google発表Infini-Attention paper・Industry-leading Infinite Context Attention paradigm + Industry-leading compressive memory + Industry-emerging Infini-Attention Google Pioneer。

2023年5月Inflection AI公開Pi。Pro 業界Pro Mainstream Empathic AI Top + Pro Mustafa Suleyman Pro CEO主導 + Pro 元DeepMind共同創設者 + Pro Reid Hoffman Pro Co-founder + Pro $1.3B Series B + Pro $4B Valuation + 2024-03 Pro Microsoft Inflection-2.5 $650M買収Pro Famous + 累計2022-2025年3年Heritage。

OpenAIが2024年に発表したAI安全研究。弱いモデルが強いモデルをスーパービジョンする設定で、GPT-2がGPT-4を教師あり学習することで強いモデルが弱い教師を超える性能を発揮できるか検証した研究。

2023年10月Vercel公開v0(v0.dev)。Pro 業界Pro Mainstream UI Generation AI Top + Pro shadcn/ui統合 + Pro React/Next.js出力 + Pro Vercel/Next.js統合 + Pro Guillermo Rauch Pro CEO主導 + Pro $20-$200 Subscription + 2024-10 Pro v0 v2 + 2025-Pro v0 v3 + 累計2023-2025年2年Heritage。

Go言語実装のオープンソースベクトルデータベース。GraphQLとREST APIを標準提供し、テキスト・画像などマルチモーダルなデータをベクトル化・保存・検索できる。

2024年Weaviate 1.28 GA Multi-tenancy強化。1Million Tenants/Cluster+Hot/Warm/Cold Tier+gRPC Streaming+Replication 3 Node+RBAC+Compression 50%向上+ACORN Filter HNSW搭載。

2023年UC Berkeley公開vLLM。Pro 業界Pro Mainstream High-Throughput LLM Serving Top + Pro UC Berkeley Sky Computing Lab + Pro Woosuk Kwon Pro主要研究員 + Pro PagedAttention Pro Famous + Pro Continuous Batching + Pro Apache 2.0 + Pro 30K+ GitHub Star + 累計2023-2026年3年Heritage継承代表機。

vLLM Production Deploy。vLLM Production Stack 0.x (Reference Implementation)・Aibrix (ByteDance Open Source・k8s LLM Serving Stack)・llm-d (Kubernetes Distributed LLM Serving 2025-Q1 GA)・KubeRay+vLLM・SkyPilot vLLM・vLLM Auto-scaling HPA・Continuous Batching・Disaggregated Prefill+Decode・LMCache (vLLM cache layer)・KV Cache offloading・Prometheus Metrics統合・Grafana Dashboard・¥0 OSS、2026年llm-d k8s生態系本格化。

2023年Can Xu et al. (Microsoft+Peking University)発表WizardLM Evol-Instruct・Industry-leading Evol-Instruct evolved instructions + Industry-leading In-depth+In-breadth evolving + Industry-leading WizardLM 7B/13B/30B/70B + Industry-leading evolved instruction tuning。

2023年Microsoft+Peking発表WizardMath・Industry-leading Reinforced Evol-Instruct math reasoning LLM + Industry-leading RLEIF + Industry-leading LLaMA-2 7B-70B fine-tuned + Industry-leading GSM8K 81.6% MATH 22.7%。

Vision-Language Encoder。OpenAI CLIP (ViT-L/14)・SigLIP-2 (Google・Multilingual)・SigLIP So400m-Patch16-512・EVA-02 CLIP・AIMv2 (Apple・Autoregressive)・OpenCLIP・InternVL 3 (OpenGVLab)・Florence-2 (Microsoft)・PaliGemma 2 (Google)・MetaCLIP (Meta)・MobileCLIP (Apple Edge)・Hugging Face Vision Transformer ViT・¥0 OSS、2026年AIMv2+SigLIP-2主流。