1978件の用語
LLMのTransformerレイヤー全体を除去することでモデルを軽量化する構造的プルーニングの一形態。後半レイヤーほど重要度が低い傾向があり、ShortGPT・LaCo等のフレームワークで実用化されている。
LLMの安全性・堅牢性を検証するため、攻撃者視点で意図的に有害出力を引き出すテスト手法。モデルのバイアス・有害コンテンツ生成リスク・脱獄耐性を体系的に評価する。
悪意ある入力・エッジケースを体系的に試みてLLMの安全上の脆弱性を発見・修正する評価プロセス。
LLMが一度に処理できるトークン数の上限。2025年時点でGemini 2.0が100万トークン超、Claude 3.5が20万トークンに達し、長文書・コードベース全体の一括処理が実用化された。
LLM Evaluation Framework。EleutherAI lm-evaluation-harness 0.4 (50+ Tasks・Standard)・OpenAI evals・RAGAS (RAG Eval・Faithfulness/Answer Relevancy)・promptfoo 0.106 (Web UI/CI)・DeepEval (Confident-AI)・Inspect AI (UK AISI)・METR Time Horizon・LLMonitor・Phoenix (Arize)・LangSmith Eval・Braintrust・¥0 OSS-¥¥¥¥¥/月、2026年Inspect AI＋RAGAS主流。
Lightricks社が開発したオープンソースの高速テキスト動画生成モデル。RTX 4090で5秒動画を約2秒で生成するリアルタイム近傍の速度と、Apache 2.0ライセンスによる商用利用を両立した初のオープン高速動画生成モデル。
Embedding Model最新。Qwen3-Embedding-8B/4B/0.6B (MMTEB SOTA 2025)・BAAI BGE-M3 (Multi-vector・Dense+Sparse+ColBERT)・bge-reranker-v2-m3・jina-embeddings-v3・Stella v5 1.5B (4096dim)・nomic-embed-text-v2 (Local)・mxbai-embed-large-v1・OpenAI text-embedding-3-large・Voyage AI voyage-3 (Anthropic推奨)・Cohere Embed v3・E5 Large (Microsoft)・¥0 OSS-API・MMTEB Benchmark、2026年Multi-vector Embedding主流。
Text Embedding Model(2024-2026年)。BGE-M3(BAAI・8K context・multilingual・$0 Free)・BGE-Large/Small・Jina Embeddings v3(8K context・Matryoshka)・mxbai-embed-large(MixedBread)・Snowflake Arctic Embed・Qwen3-Embedding 0.6B/4B/8B(2024年・SOTA MTEB・100+ language)・stella(General)・OpenAI text-embedding-3-small($0.02/M token)/large($0.13/M)・Voyage AI(Anthropic推奨)・Cohere Embed v3・Nomic Embed・LM Studio + Qwen3-Embedding-8B Local・2026年 Qwen3 OSS主流、Voyage commercial。
テキストEmbeddingモデル。Qwen3-Embedding-8B/4B/0.6B (Alibaba・MMTEB SOTA)・BAAI BGE-M3・BGE-Large-EN-1.5・E5 Large/Mistral・Voyage AI voyage-3 (Anthropic推奨)・OpenAI text-embedding-3-large・Cohere Embed v3.0・NVIDIA NV-Embed-v2・Mixedbread mxbai・Stella v5 1.5B・jina-embeddings-v3・¥0-¥0.13/M tokens、2026年MMTEB日本語SOTA Qwen3。
テキストベクトル化モデル。BGE-M3(BAAI・8192 token・Multilingual)・Nomic Embed v2(768dim)・Voyage-3-large・Qwen3-Embedding-8B(4096dim)・Jina Embeddings v4・OpenAI text-embedding-3-large・Cohere Embed v4・mxbai-embed-large-v2・Snowflake Arctic Embed L 2.0・Stella 1.5B・MiniLM-L6代表、2026年1024-4096dim主流。
2024年Hong et al.発表ORPO paper・Industry-leading Odds Ratio Preference Optimization paradigm + Industry-leading SFT + alignment combined single-stage + Industry-emerging ORPO Pioneer。
2024年3月KAIST発表ORPO・Industry-leading odds ratio preference + Industry-leading no reference model + Industry-leading SFT+DPO unified monolithic + Industry-leading KAIST Hong+Lee ORPO Apache 2.0 no-reference-model preference optimization method 2024。
SFT（教師あり学習）とDPO（選好最適化）を1ステップに統合したアライメント手法。通常2段階が必要なSFT後のDPOを、オッズ比ペナルティを組み込んだ単一の損失関数で同時達成し、学習コストを約半分に削減する。2024年POSTECH発表。
SFT（教師あり微調整）と選好最適化を単一学習ステップで同時に行うLLM整合手法。参照モデル不要・計算コスト低減を実現し、DPOより効率的に人間の選好をモデルに反映できる。
参照モデル不要でSFTとアライメントを1ステップで実行するLLM手法。オッズ比ベースの損失関数でSFT損失と選好最適化を統合。韓国POSTECH・KAISTが2024年に提案。GPUメモリと学習ステップを削減。
Hong ら KAIST 2024年 LLM alignment 手法。SFT と preference 学習を1段階統合・reference model 不要で計算コスト半減
上海AILabが2024年に発表したGUI基盤モデル。Qwen2-VL-7Bをベースに1300万件のGUI操作データで学習し、Web・Windows・macOS・Android・iOSの5プラットフォームに対応する汎用GUIエージェント。
オープンソースコードを基にLLMが実践的なコーディング指示データを生成する手法。Magicoder（WeiCoder et al. 2023）が提案。GitHubの実コードスニペットをシードにLLMが多様な問題・解答を生成しコード特化モデルの精度を引き上げる。
Microsoft+Facebook 2017年OSS化のニューラルネットワーク交換フォーマット。PyTorch/TF/Caffe2等のモデル相互変換+推論実行統一。
2024年Q3 Allen Institute for AI Ai2 (米Seattle・2014年Microsoft共同創業者 Paul Allen創業・Non-profit AI research institute・累計funding $500M+ from Paul Allen estate + DARPA + NSF grants・Academic AI research industry-leading non-profit institute) 発表OLMoE-1B-7B・Fully Open Research MoE LLM・1.3B active params per token + 7B total params (8 experts × 875M per expert)・Apache 2.0 license + Industry-leading Open data + Open code + Open weights + Open training logs comprehensive openness・OLMo (Open Language Model) family MoE variant + Academic AI research Industry-leading transparency。