AI・機械学習用語集

Vision Language Model(2024-2026年)。GPT-4V/4o/o1(OpenAI・vision)・Claude Sonnet 4.6/Opus 4.7 vision・Gemini 2.5 Pro multimodal・LLaVA 1.6/Next(OSS・Llama base・$0)・CogVLM2 19B(Tsinghua)・MiniCPM-V 2.6(8B mobile)・InternVL 2.5(OpenGVLab・78B)・Qwen2-VL/Qwen2.5-VL(Alibaba・72B)・Pixtral 12B(Mistral・2024年9月)・Florence-2(Microsoft・vision encoder)・Llama 3.2 Vision 11B/90B・Molmo(Allen AI・OSS open weights+data)・2026年 OCR/Image Q&A実用化、ローカル動作可能。

UC BerkeleyのBDD研究室が開発したオープンソースLLM推論・サービングエンジン。PagedAttentionによる高効率KVキャッシュ管理とOpenAI互換APIサーバーを備え、HuggingFace Transformersより24倍のスループットを実現。研究から本番まで最も広く使われるLLM推論フレームワーク。

UC Berkeleyが開発したオープンソースのLLM推論エンジンで、PagedAttentionによる効率的なメモリ管理と高スループット推論を実現するサービングフレームワーク

vLLMは、UC Berkeleyで開発されたオープンソースのLLM推論・サービングエンジン。PagedAttentionによるKVキャッシュの効率的管理とContinuous Batching（連続バッチング）を中核技術とし、従来のHugging Face Transformersと比較して3〜24倍のスループット向上を実現する。OpenAI互換APIを標準提供し、本番環境での採用実績が最も多い推論エンジンの一つ。

UC Berkeleyが開発したオープンソースLLM推論・サービングエンジン。PagedAttentionとContinuous Batchingを実装し、ナイーブなHuggingFace実装比で最大24倍のスループットを実現。2023年登場でGitHubスター4万超の事実上の標準サービングスタック。

UC Berkeley発の高スループットLLM推論フレームワーク。PagedAttentionによりGPU KVキャッシュを仮想メモリ方式で管理し、従来比最大24倍のスループットを実現する。OpenAI互換APIサーバーとして広く採用される。

UC Berkeleyが開発した、PagedAttention技術を用いるLLM推論エンジン。OSの仮想メモリ管理に着想を得たKVキャッシュのブロック管理により、メモリ断片化を抑制し、極めて高いスループットと効率的なバッチ処理を実現する。

UC Berkeley 2023年公開の高速 LLM 推論エンジン。PagedAttention + 24倍高速・Apache 2.0 + 無料・「LLM 推論サーバ業界主流」.

高性能LLM推論サーバー。vLLM 0.6(UC Berkeley・PagedAttention・継続batch・FP8 KV cache・Throughput 10-30x)・SGLang(Structured Generation Lang・Prefix caching・Multi-LoRA)・Hugging Face TGI 3.0(Text Generation Inference・Rust)・NVIDIA TensorRT-LLM・LMDeploy(MMRazor)・Aphrodite Engine・Ollama(small scale)・vLLM A100/H100最適・tensor parallel TP=8・2026年 vLLM+SGLang主流、Enterprise TGI Docker。

vLLMが提供するOpenAI API互換のLLM推論サーバー。PagedAttentionによる高スループットと低レイテンシを実現し、GPUクラスタ上でLLaMA・Mistral等のオープンモデルを本番運用するためのデファクトスタンダード。

vLLMが実装するKVキャッシュのページング管理技術。OSの仮想メモリに着想を得てKVキャッシュを非連続ブロックで管理し、LLM推論スループットを大幅向上させる。

vLLM（Virtual Large Language Model）とは、UC Berkeleyが開発したオープンソースのLLM推論・サービングエンジンである。PagedAttentionによる効率的なKVキャッシュ管理とContinuous Batchingを組み合わせることで、従来のHugging Face Transformersと比較して最大24倍のスループットを実現する。Llama、Mistral、Qwen、Gemma、Command R等の主要なオープンソースLLMに対応しており、プロダクション環境でのLLMサービングにおけるデファクトスタンダードとなっている。

LLM高速推論バックエンド。vLLM 0.10(UC Berkeley・PagedAttention)・TGI(HuggingFace Text Generation Inference)・SGLang 0.4(RadixAttention・Tree Evict)・TensorRT-LLM・llama.cpp server・llama-swap・Ollama engine・LitServe・Triton Inference Server・Ray Serve代表、2026年continuous batching+FP8 KV Cache定番。

2024年Q3-Q4 vLLM Project (UC Berkeley Sky Computing Lab・2023年Open-source inference engine release以来 Industry-leading Open-source LLM inference engine・GitHub 30k+ stars・Industry-leading Open-source community + Production deployment Industry-wide adoption) Disaggregated Mode support addition・vLLM Disaggregated mode implementation・Industry-leading Open-source Disaggregated Inference implementation + Prefill-Decode separation deployment support + Industry-leading Open-source community adoption + Industry-wide Production deployment Industry-emerging paradigm support + Industry-leading Open-source paradigm shift adoption。

2024年UC Berkeley発表vLLM v0.6+・Industry-leading PagedAttention KV cache management + Industry-leading 24x throughput improvement + Industry-leading continuous batching + Industry-leading Apache 2.0 open source LLM serving framework。

2023年Woosuk Kwon et al. (UC Berkeley)発表vLLM・Industry-leading PagedAttention KV cache management + Industry-leading LLM inference high-throughput serving + Industry-leading vLLM open-source framework + Industry-leading SOSP 2023 best paper。

2024年12月公開Fish Audio S1。Pro Open Source TTS Top + Pro 中国Mainstream Voice AI + Pro 4B Parameters + Pro Multilingual対応 + Pro Voice Cloning + Pro CC BY-NC-SA License + Pro Hugging Face公開 + 累計2023-2025年2年Heritage Pro Open Source Voice AI業界Top独占。

Fish Audioが開発したオープンソースのゼロショット音声クローニングTTSモデル。10秒以下の参照音声から高品質な音声複製を行い、多言語に対応。

コードLLMのプリトレーニング目的の一種。テキストの先頭（Prefix）と末尾（Suffix）を与え、中間部分（Middle）を生成する能力を学習する手法。SPMフォーマットが主流。

CNNやTransformerの不要なフィルター・チャネル・アテンションヘッドをまとめて除去する構造的プルーニング手法。非構造化プルーニングよりハードウェア加速が容易。