1978件の用語
LLM推論時にN個の独立した出力候補をサンプリングし、報酬モデルや検証器でスコアリングして最高スコア候補を採択する最も単純なTest-Time Compute手法。
2023年Zhang + UT Austin発表Heavy-Hitter Oracle paradigm theory・Industry-leading Heavy-Hitter token identification + Industry-leading attention-weight-based importance + Industry-emerging Pareto distribution KV importance。
HuggingFaceが開発するパラメータ効率的ファインチューニングライブラリ。LoRA・QLoRA・DoRA・Prefix Tuning・P-Tuningなど各種PEFT手法を統一APIで提供し、大規模モデルの効率的な特化調整を可能にする。
共有ランダム凍結行列と層ごとのスケーリングベクトルのみを学習するPEFT手法。Dalal et al.（2024）提案。LoRAより学習可能パラメータ数を大幅削減（最大99%削減）しながら同等性能を実現。
LoRAをさらに圧縮したPEFT手法。全レイヤー共有のランダム凍結行列A,Bを使い、各レイヤーには微小なスケーリングベクトルd,bのみを学習。LoRAより10〜100倍少ないパラメータで同等精度を達成。Kopiczko et al. 2024提案。
数学・コードなど正解が客観的に検証可能なタスクでLLMの推論を評価するリワード手法。実行結果やルールベース検証でスコアを算出し人間評価・LLM評価に依存しない。
2024年6月Tencent AI Lab発表Persona Hub・Industry-leading 1 billion personas synthetic data + Industry-leading persona-driven generation + Industry-leading diverse training data + Industry-leading Tencent AI Lab Persona Hub persona-driven synthetic data scaling 2024。
2023年Weaviate発表Verba・Industry-leading open-source RAG chatbot + Industry-leading Weaviate vector DB integration + Industry-leading Golden RAGtriever signature + Industry-leading Weaviate Verba open RAG chatbot 2023+。
LLM 評価 benchmark。MMLU(57 domain・undergraduate level・Claude 4.7 88%+)・MMLU-Pro(advanced・2024年)・GPQA Diamond(Physics/Chemistry/Biology PhD・o1 78%・Claude 4.7 80%+)・ARC-AGI(Francois Chollet・abstract reasoning・o3 breakthrough 87%・2024年12月)・ARC-AGI-2(2025年・more difficult)・HumanEval/MBPP(code・saturated)・SWE-bench Verified(実用software engineering・Claude 4.7 80%+)・LiveCodeBench・AIME 2024/2025(math)・Chatbot Arena ELO・2026年 ARC-AGI-2/SWE-bench支配権争い。
LLM・MLモデルをAPIとしてデプロイするためのオープンソースフレームワーク。Bento（サービング定義パッケージ）単位で管理しDocker/Kubernetes/クラウドへのデプロイを統一。vLLM統合・BentoCloud（マネージドサービス）・OpenTelemetryを搭載したエンタープライズMLOps基盤。
Voyage AI 2024年10月発表エンタープライズ Embedding。1024次元・MTEB 71.8 平均・$0.06/1M トークン・Anthropic 推奨
AI音声合成TTS最新。ElevenLabs Turbo v2.5 (商用No.1)・Multilingual v2・F5-TTS (FOSS)・CosyVoice 2 (Alibaba)・MeloTTS・OpenAI TTS-1 HD・Voicebox/AudioGen Meta・Bark (Suno AI)・XTTS v2・StyleTTS 2・Coqui TTS・Style-BertVITS2・GPT-SoVITS V3・StableTTS、2026年Zero-Shot Cloning秒単位品質達成。
AI音声処理。NVIDIA Broadcast 2.x (Studio Voice/Echo Removal/Noise Removal/Eye Contact/Background Replace)・RTX Voice (旧版)・Krisp 4.x (¥¥1k/月)・Discord Krisp内蔵 (Free)・Adobe Podcast Enhance Speech (Free)・LALAL.AI (Stem Separation)・Suno Bark・OpenAI TTS-1 HD・iZotope RX 11 Voice De-noise・¥0-¥¥3k/月・XSplit VCam・OBS Plugin、2026年AI Voice Workflow一般化。
2024年Voyage AI発表Voyage-3・Industry-leading retrieval-optimized embedding model + Industry-leading 1024-dim + Industry-leading 32K context + Industry-leading $0.06 per 1M tokens cheaper + Industry-leading MIT alum founders。
Google DeepMindが2024年発表した純粋線形再帰型LLM。Griffinの純粋再帰バリアントで、Attentionレイヤーを持たずGated Linear Recurrenceのみで構成。省メモリ・高速推論を最優先した設計。
Positional Skip-wisE fine-tuning の略。元の短いコンテキスト長で継続訓練しながら、スキップ的な位置インデックスの割り当てで長いコンテキストへの適応を実現する省コストなコンテキスト拡張手法。
LLM API管理のための商用AIゲートウェイプラットフォーム。リクエストルーティング・セマンティックキャッシング・プロンプトバージョン管理・リアルタイムオブザーバビリティを統合し、本番LLMアプリケーションの信頼性とコスト効率を向上させる。
LLMルーティング・フォールバック・キャッシュ・可観測性をオールインワンで提供するエンタープライズ向けAIゲートウェイ。OpenAI互換API・詳細なトレース・コスト管理を統合。
2023年Shouyuan Chen et al. (Meta AI)発表Position Interpolation・Industry-leading PI foundation method + Industry-leading Linear interpolation RoPE + Industry-leading 32K LLaMA + Industry-leading RoPE-based extension foundation。
Metaが2023年に提案した、RoPEの位置インデックスを線形スケールダウンすることで、わずか1000ステップのファインチューニングで事前学習済みLLaMAモデルのコンテキスト長を最大32kトークンまで拡張する手法。