2472件の用語
GeGLU（GELU-Gated Linear Unit）は GELU 関数と GLU ゲート機構を組み合わせた活性化関数であり、Google の Gemma シリーズ（2024年）で採用され、SwiGLU と並ぶ GLU ファミリーの代表的な活性化関数である。
Zou et al.（2023、CMU）が提案したLLMへの自動adversarial suffix攻撃手法。モデルのgradient情報を使い、有害出力を引き出すトークン列（suffix）をgreedy探索で最適化する白箱攻撃。白箱最適化したsuffixが商用LLMへの黒箱転移攻撃にも成功したことで注目された。
GGUF（GPT-Generated Unified Format）とは、llama.cppプロジェクトで開発されたLLMモデルの量子化ファイルフォーマットである。従来のGGML形式を後継し、メタデータの自己完結性・後方互換性・拡張性を備え、CPU/GPU混合推論に最適化されている。
llama.cppが2023年8月導入したLLM量子化モデルの単一ファイル格納フォーマット。旧GGMLの後継で、メタデータを豊富に内包しヘッダー互換性を保ちつつ複数量子化レベルを1ファイルに収められる。
llama.cppが採用するLLM量子化ファイル形式。K-quant方式でQ2〜Q8の多段階量子化に対応し、CPU/GPU混在推論を可能にするローカルLLM実行の事実上の標準フォーマット。
2024年成熟GGUF・Industry-leading llama.cpp file format + Industry-leading K-quants 2-8 bit + Industry-leading CPU inference optimized + Industry-leading ggerganov llama.cpp GGUF file format LLM quantization 2024。
llama.cppのGGUFフォーマットにおける文脈考慮型量子化手法。キャリブレーションデータを使い重みの「重要度」を計測し、重要な重みほど高精度で量子化することで、同じビット数でも通常量子化より高い品質を実現する。IQ2_XXS・IQ4_XS等のIQシリーズで採用される。
2023年Georgi Gerganov公開GGUF(GGML Universal Format)量子化フォーマット。Pro 業界Pro Mainstream llama.cpp標準量子化Format先駆 + Pro 国際OSS llama.cpp + Pro 2023-08 GGUF v3公開 + Pro Q2_K/Q3_K/Q4_K_M/Q5_K_M/Q6_K/Q8_0等多Format + Pro Single File形式 + Pro CPU/GPU両対応 + Pro 累計2023-2026年3年Heritage継承代表機。
llama.cpp 2023年8月導入量子化フォーマット。CPU/Apple Silicon 推論最適化・2/3/4/5/6/8-bit 量子化対応
2024年7月Alibaba Tongyi Lab (阿里巴巴通義実験室) 発表のGTE-Qwen2 7B Instruct・Qwen2-7B-Instruct base + Multi-task Instruction Tuning + 128k max sequence + Multilingual (100+言語) + Task-specific instruction prompt + 3,584次元 + Apache 2.0 License・MTEB English 70.24・MTEB Chinese 1位・C-MTEB Top 3・Alibaba GTE (General Text Embedding) series最新フラグシップ・Voyage 3 / NV-Embed v2 / Stella en 1.5B v5 の競合model。
Alibaba Cloud が2024年に公開した Qwen2 ベースのテキスト埋め込みモデルシリーズ。1.5B/7B パラメータの2サイズ展開で、MTEB総合ベンチマークで最高クラスの性能を持つオープンソース Embedding モデル。
Jina AI 社が2024年に公開した多言語テキスト埋め込みモデル。570Mパラメータながらタスク別 LoRA アダプタで検索・分類・クラスタリング・テキストマッチングを高精度に切り替え、最大8,192トークン入力に対応するオープンソースモデル。
Genie 2はGoogle DeepMindが2024年に発表した大規模生成的世界モデルで、1枚の画像から物理的に整合した3Dインタラクティブ環境を無制限に生成しエージェント訓練に活用できる。
DeepMindが2023年に発表したグラフニューラルネットワークベースの材料科学AI。220万以上の新規安定結晶構造を発見し、既知の安定材料数を約10倍に拡大した。
大学院レベルの専門知識を要する難問ベンチマーク。Google 検索しても正答困難な問題で構成され、LLM の深い専門知識と推論能力を測定する。物理学・化学・生物学の 448 問から成る。
2024年成熟GPQA Diamond・Industry-leading 198 PhD-level questions + Industry-leading expert 65% + non-expert 34% + Industry-leading Google-proof benchmark + Industry-leading NYU GPQA Diamond PhD-level reasoning benchmark 2024。
2023年David Rein et al. (NYU)発表GPQA Diamond・Industry-leading PhD-level Q&A benchmark + Industry-leading Graduate-Level Google-Proof Q&A + Industry-leading 198 Diamond expert-verified + Industry-leading PhD-level reasoning standard。
OpenAI GPT-4o(omni・2024年5月)。テキスト/Vision/Audio Native multimodal・GPT-4o-2024-08-06($2.50/$10/Mtok)・GPT-4o mini($0.15/$0.60)・Realtime API(WebRTC・Voice-to-Voice 320ms latency)・Voice Mode Advanced(ChatGPT・自然音声会話)・Vision: image理解・OCR・diagram解析・gpt-4o + DALL-E 3 image gen・Whisper Audio TTS-1・GPT-4o canvas・GPT-4 Turbo legacy・OpenAI Operator(Computer Use・Browser Use・2025年1月)・2026年 o-series(o3/o4)reasoning加わりmultimodal完全化。
2023年Yang et al. (Microsoft+UCAS)発表GPT4Tools・Industry-leading multimodal tool use LLM + Industry-leading visual tools + Industry-leading 23 multimodal tools + Industry-leading Vicuna-13B fine-tuned。
GPTモデル向けの後処理（PTQ）量子化手法。二次情報（ヘッシアン）を用いて層ごとに重みを4bit等へ量子化し、精度劣化を抑えつつGPU推論を高速化する代表的なLLM量子化方式。