AI・機械学習

llama.cpp 2023年8月導入量子化フォーマット。CPU/Apple Silicon 推論最適化・2/3/4/5/6/8-bit 量子化対応

2024年7月Alibaba Tongyi Lab (阿里巴巴通義実験室) 発表のGTE-Qwen2 7B Instruct・Qwen2-7B-Instruct base + Multi-task Instruction Tuning + 128k max sequence + Multilingual (100+言語) + Task-specific instruction prompt + 3,584次元 + Apache 2.0 License・MTEB English 70.24・MTEB Chinese 1位・C-MTEB Top 3・Alibaba GTE (General Text Embedding) series最新フラグシップ・Voyage 3 / NV-Embed v2 / Stella en 1.5B v5 の競合model。

Genie 2はGoogle DeepMindが2024年に発表した大規模生成的世界モデルで、1枚の画像から物理的に整合した3Dインタラクティブ環境を無制限に生成しエージェント訓練に活用できる。

DeepMindが2023年に発表したグラフニューラルネットワークベースの材料科学AI。220万以上の新規安定結晶構造を発見し、既知の安定材料数を約10倍に拡大した。

2024年成熟GPQA Diamond・Industry-leading 198 PhD-level questions + Industry-leading expert 65% + non-expert 34% + Industry-leading Google-proof benchmark + Industry-leading NYU GPQA Diamond PhD-level reasoning benchmark 2024。

2023年David Rein et al. (NYU)発表GPQA Diamond・Industry-leading PhD-level Q&A benchmark + Industry-leading Graduate-Level Google-Proof Q&A + Industry-leading 198 Diamond expert-verified + Industry-leading PhD-level reasoning standard。

OpenAI GPT-4o(omni・2024年5月)。テキスト/Vision/Audio Native multimodal・GPT-4o-2024-08-06($2.50/$10/Mtok)・GPT-4o mini($0.15/$0.60)・Realtime API(WebRTC・Voice-to-Voice 320ms latency)・Voice Mode Advanced(ChatGPT・自然音声会話)・Vision: image理解・OCR・diagram解析・gpt-4o + DALL-E 3 image gen・Whisper Audio TTS-1・GPT-4o canvas・GPT-4 Turbo legacy・OpenAI Operator(Computer Use・Browser Use・2025年1月)・2026年 o-series(o3/o4)reasoning加わりmultimodal完全化。

2023年Yang et al. (Microsoft+UCAS)発表GPT4Tools・Industry-leading multimodal tool use LLM + Industry-leading visual tools + Industry-leading 23 multimodal tools + Industry-leading Vicuna-13B fine-tuned。

GPTモデル向けの後処理（PTQ）量子化手法。二次情報（ヘッシアン）を用いて層ごとに重みを4bit等へ量子化し、精度劣化を抑えつつGPU推論を高速化する代表的なLLM量子化方式。

2022年Frantar et al.発表GPTQ・Industry-leading post-training quantization LLM + Industry-leading 4-bit INT4 quantization + Industry-leading second-order Hessian information + Industry-leading OPT/BLOOM/LLaMA 175B production quantization。

学習済みLLMを2/3/4ビットに圧縮するポストトレーニング量子化手法。レイヤーごとにヘッシアン近似で誤差最小化し、GPU VRAMを1/4〜1/8に削減する。

2024年成熟GPTQ・Industry-leading 4-bit weight quantization + Industry-leading column-wise greedy + Industry-leading 4x memory reduction + Industry-leading IST Austria GPTQ post-training quantization method 2024。

2022年Frantar et al公開GPTQ(Generative Pretrained Transformer Quantization)量子化アルゴリズム。Pro 業界Pro Mainstream Layer-wise GPU量子化先駆 + Pro IST Austria Frantar et al + Pro 2022-10 GPTQ論文公開 + Pro 3-4bit GPU特化 + Pro AutoGPTQ + Pro Hessian Approximation + 累計2022-2026年4年Heritage継承代表機。

2020年6月OpenAI公開GPT-3。175B Parameters Pro Famous + Pro 業界初Mainstream Few-shot Learning LLM + Pro $4.6M Training Cost + Pro Microsoft Azure独占 + Pro API Beta公開 + Pro Mainstream LLM業界出発点代表機 + 累計2020-2025年5年Heritage Pro Top独占。

プリンストン大学生が開発したAI生成テキスト検出ツール。Perplexityとburstinessを指標として用いる。

OpenAI が 2025 年に公開した GPT シリーズの第 5 世代。GPT-4 系の後継として、推論能力、マルチモーダル処理、エージェンティック機能を統合した次世代フラッグシップ LLM。

OpenAI最新LLM(2025-2026年)。GPT-5(2025年7月・全機能統合・Reasoning内蔵・$30/$60 1M tokens)・GPT-5-mini($3/$12)・GPT-5-nano($0.15/$0.6)・o3(2025年1月・Reasoning・$20/$80)・o3-mini($1.10/$4.40)・o3 Pro($200/$800)・o4(2025年Q3予定)・128K context・Advanced Voice・Tool Use・Memory・Operator・ChatGPT Pro $200/月、2026年Claude/Gemini競合最上位。

Gpt 4は、人工知能・機械学習分野における重要な概念・技術です。

2023年3月14日OpenAI公開GPT-4。Pro 推測1.76T MoE Parameters + Pro Multimodal Vision対応 + Pro 8K-32K Context + Pro $0.03/$0.06 per 1K Token + Pro ChatGPT Plus統合 + Pro Mainstream LLM業界Top独占代表機 + 累計2023-2025年2年Heritage Pro Top独占。

GPT-4o は2024年5月13日OpenAI 発表のMultimodal AI モデルで「Omni」(全) を意味する音声・画像・テキスト統合・低遅延 (人間並み320ms 応答)・128K コンテキスト・無料公開 (制限あり)・GPT-4 Turbo の2倍速+50% 安価採用しAGI (Artificial General Intelligence) への前進・2024年AI 業界の主役・1億+ 週間アクティブユーザーの現代AI の代表モデル。