AI・機械学習
中級
GGML テンソル形式（ジージーエムエル テンソルケイシキ）
Georgi Gerganovが開発したCPU推論向け機械学習テンソルライブラリ。llama.cppのバックエンドとして普及し、後継のGGUF形式（.ggufファイル）がローカルLLM推論の事実上の標準フォーマットになった。
0 回閲覧
0 いいね
2026/6/8 更新
関連タグ
ggml
gguf
llama-cpp
cpu-inference
local-llm
GGML テンソル形式とは
GGML（GPT-Generated Model Language）は2022年にGeorgi Gerganov（Whisper.cpp・llama.cppの開発者）が作成したC言語実装の機械学習テンソルライブラリ。Pure CによるCPU特化設計でゼロ依存・軽量。当初はWhisperの音声認識モデル推論用に開発されたが、2023年3月にllamaモデルのCPU推論フレームワーク「llama.cpp」に採用されてLLM分野で急速に普及した。
GGML → GGUF への移行
GGML（旧形式・廃止）
- 単一バイナリファイルに重みを格納
- メタデータが外部 Python スクリプトに依存
- モデルアーキテクチャが変わるたびに互換性が壊れる問題
GGUF（2023年8月〜・現行標準）
- 自己記述型: メタデータ・語彙・量子化設定が1ファイルに完結
- 前方互換: 新しいアーキテクチャを追加しても旧バージョンで読める
- KV store: 任意のメタデータをキーバリュー形式で埋め込み可能
GGUF 量子化プリセット一覧
| プリセット | ビット数 | サイズ比 | 品質 | 用途 |
|---|---|---|---|---|
| Q2_K | 2-3bit | 1/5 | 低め | VRAM極限節約 |
| Q4_K_M | 4bit | 1/3.5 | 中高 | バランス型・主流 |
| Q5_K_M | 5bit | 1/3 | 高 | 精度重視 |
| Q6_K | 6bit | 1/2.4 | 非常に高 | 高精度 |
| Q8_0 | 8bit | 1/2 | ほぼFP16 | 参照品質 |
実用推奨: Q4_K_M（速度・品質・VRAMのバランス最良）
llama.cpp + GGUF によるローカル推論
./llama-cli \
-m ./models/Llama-3.1-8B-Instruct-Q4_K_M.gguf \
-n 512 \
--ctx-size 8192 \
-ngl 35 \
-p "以下を要約してください:"
GGUF エコシステム
| ツール | GGUF 活用方法 |
|---|---|
| llama.cpp | GGUF 推論エンジン本体（C++） |
| Ollama | llama.cpp ラッパー。ollama pull model:q4_k_m |
| LM Studio | Windows/Mac GUI |
| Jan | ローカルChatGPT代替 |
| GPT4All | デスクトップアプリ。GGUF管理GUI付き |
よくある質問（FAQ）
Q1: GGUF と GPTQ はどちらを使うべき? A: CPU推論・Mac・RAMで動かしたい → GGUF。NVIDIAGPUで高速推論したい → GPTQ。OllamaやLM Studioを使うならGGUF一択。
Q2: Q4_K_M の「K」と「M」は何? A: K は「K-quant」と呼ばれる改良量子化手法（注意層などを混合ビット幅で最適化）、M は Medium（S/M/Lのサイズ選択）。Q4_K_M は4ビット・K量子化・Mediumサイズの意味。
Q3: Apple Silicon Mac で GGUF を使うメリットは? A: M1/M2/M3のUnified Memory（最大192GB）をVRAMとして使えるため、70Bモデルも本体メモリだけで動作可能。Metal GPUオフロード（-ngl 99）でGPU層も活用できる。