2472件の用語
RLHFで最も広く使われる方策勾配型強化学習アルゴリズム。クリッピングによる信頼領域制約で学習の安定性を確保しつつ、効率的な方策更新を実現する。
テキスト生成において複数の候補系列（ビーム）を並行して探索し、全体として最も高い確率を持つ系列を選択するデコーディング手法。機械翻訳や音声認識で広く使用され、Greedy Decodingより高品質な出力を実現するが計算コストが増大する。
Pika Labs (Stanford 卒業生 2023年起業) 動画生成 AI。Pika 1.5 (2024/10)・Image-to-Video + Text-to-Video・$10-$70/月・Sora の競合・YouTube ショート向け。
2024年12月19日Pika Labs公開Pika 2.0。Pro Pika系譜後継 + Pro 2024年最後Pro Famous Text-to-Video AI公開 + Pro Pikaffects Pro Famous(物体変形特殊効果) + Pro Scene Ingredients(複数Image合成) + Pro 6秒動画 + Pro 1080p + Pro Subscription $10/月 + 累計Heritage。
UC Berkeley等が開発したVicunaモデルが採用する会話テンプレート。`USER:`/`ASSISTANT:`のラベルで発話を区切り、長めのシステムプロンプトとともにSFT（Supervised Fine-Tuning）に用いられた形式。
2024年9月Mistral AI発表Pixtral・Industry-leading 12B European VLM + Industry-leading 128K context + Industry-leading variable image size native + Industry-leading Mistral AI Pixtral Apache 2.0 European 12B VLM 2024。
2024年Q3 Mistral AI (仏Paris・2023年Arthur Mensch + Timothée Lacroix + Guillaume Lample (元Meta AI) 共同創業・累計funding $640M+/Series B + $6B valuation・欧州AI startup leader + Open weights LLM specialty brand) 発表Pixtral 12B・Industry-leading Open-source multimodal LLM・Mistral first multimodal Open weights model + Apache 2.0 license + 12B parameters + Vision encoder integrated + Industry-leading Open multimodal LLM Pioneer + Industry-leading Cost-effective multimodal LLM + 欧州AI Industry-leading Open weights multimodal brand。
Mistral AIが2024年9月にリリースしたビジョン言語モデル。12Bパラメータのテキスト+画像入力対応で、可変解像度画像処理とMistral Nemoエンコーダーを組み合わせた初のマルチモーダルモデル。
2024年Meng et al. + BJTU (Beijing Jiaotong University)発表PiSSA paper・Industry-leading Principal Singular values + Vectors Adaptation paradigm + Industry-leading SVD-based PEFT + Industry-emerging PiSSA BJTU Pioneer。
Vision Transformerは、人工知能・機械学習分野における重要な概念・技術です。
画像（視覚情報）とテキスト（言語情報）を統合的に処理するAIモデルの総称。画像キャプション生成、視覚的質問応答（VQA）、画像検索など、視覚と言語を橋渡しするタスクに特化した設計を持つ。
2024 年に発表された LLM コード生成能力評価ベンチマーク。HumanEval の 164 問に対し 1,140 問と約 7 倍の問題数を持ち、実際のライブラリ（NumPy/Pandas/scikit-learn 等）を使ったより現実的なプログラミングタスクで LLM の真の実力を測定する。
HumanEvalを超える実践的なコード生成評価ベンチマーク。139のPythonライブラリを活用した1,140問で構成され、関数呼び出し・API活用・複合タスクの能力を評価する。
LLM のコード生成能力を実用的なプログラミングタスクで評価するベンチマーク。HumanEval の限界を超え、複数ライブラリの組合せ・API 呼出し・データ処理など現実的な開発シナリオを網羅する。
Google Researchが2020年に発表した、ローカルアテンション・グローバルアテンション・ランダムアテンションの3種を組み合わせたスパースアテンション機構。計算量をO(n)に削減しつつ、グラフ理論に基づき全トークン間の情報到達性を理論的に保証する。
Googleが2020年に提案した長文処理向けスパースアテンション機構。ランダムアテンション・局所ウィンドウアテンション・グローバルアテンションの3要素を組み合わせ、理論的にはO(n)計算量で完全なトランスフォーマーの表現力を保持することを証明した手法。
Google主導で作成された204タスク・超大規模LLM評価ベンチマーク。論理推論・言語・数学・常識など多様な能力を包括的に測定する。
BitsAndBytes（bitsandbytes）とは、Tim Dettmersが開発したPyTorch用の軽量量子化ライブラリで、LLMの8ビット/4ビット量子化推論およびQLoRAファインチューニングを実現する。HuggingFace Transformersにネイティブ統合されており、数行のコード変更でモデルの量子化ロードが可能である。
2024年成熟BitsAndBytes・Industry-leading 8-bit LLM.int8 mixed precision + Industry-leading outlier-aware quantization + Industry-leading PyTorch native + Industry-leading Tim Dettmers BitsAndBytes mixed-precision quantization 2024。
2022年Tim Dettmers公開BitsAndBytes(bnb)量子化ライブラリ。Pro 業界Pro Mainstream On-the-fly LLM量子化+QLoRA基盤先駆 + Pro 米国UW Tim Dettmers + Pro 2022-08 LLM.int8()/2023-05 NF4 + Pro 8bit/4bit NF4/FP4 + Pro huggingface transformers/PEFT統合 + 累計2022-2026年4年Heritage継承代表機。