LLaMA-Factoryとは？（ラマファクトリー）意味・特徴をわかりやすく解説

LLaMA-Factory（ラマファクトリー）

hiyouga氏が開発する統合LLMファインチューニングプラットフォーム。100以上のLLMモデルに対応し、Web UI（LLaMA Board）・CLI・Pythonスクリプト全ての操作方法を提供。Full FT・LoRA・QLoRA・DPO・PPO・KTO・ORPOなど最も多くの学習手法をサポートする。

0 回閲覧

0 いいね

2026/6/5 更新

LLaMA-Factoryとは

hiyouga氏が開発するオープンソースのLLM統合ファインチューニングプラットフォーム。「LLM Fine-tuning for Everyone」をコンセプトに、プログラミング経験が少ないユーザーでもWebUIで操作できる敷居の低さと、研究者向けの高度な設定の両立を実現している。

対応モデル（100以上）

代表的な対応モデル:

Meta: LLaMA-3.1（8B/70B/405B）、LLaMA-3.2（1B/3B/11B/90B）
Alibaba: Qwen2.5（0.5B〜72B）、Qwen2.5-Coder
Google: Gemma 2（2B/9B/27B）
Mistral: Mistral-7B、Mixtral-8x7B
Microsoft: Phi-3/Phi-3.5
DeepSeek: DeepSeek-V2/V3/R1系

LLaMA Board（Web UI）

pip install llamafactory
llamafactory-cli webui
# ブラウザで http://localhost:7860 にアクセス

WebUIで操作できること:

モデル選択・量子化方式設定
データセット選択とプレビュー
LoRA rankなど学習ハイパーパラメータ設定
学習進行のリアルタイムグラフ表示
学習済みモデルのチャット評価
モデルエクスポート（マージ・量子化）

CLI による使用例

# LoRA学習
llamafactory-cli train \
  --model_name_or_path meta-llama/Meta-Llama-3.1-8B-Instruct \
  --stage sft \
  --do_train True \
  --finetuning_type lora \
  --lora_target q_proj,v_proj \
  --dataset alpaca_en \
  --template llama3 \
  --output_dir saves/llama3-8b-lora \
  --num_train_epochs 3.0 \
  --per_device_train_batch_size 2 \
  --learning_rate 1e-4 \
  --fp16 True

# DPO学習
llamafactory-cli train \
  --stage dpo \
  --finetuning_type lora \
  --dataset dpo_data \
  --dpo_beta 0.1

対応学習ステージ

ステージ	説明	用途
pt	事前学習（Continued Pretraining）	ドメイン適応
sft	Supervised Fine-Tuning	指示追従学習
rm	Reward Modelingトレーニング	RLHF準備
ppo	Proximal Policy Optimization	RLHF
dpo	Direct Preference Optimization	選好学習
kto	Kahneman-Tversky Optimization	バイナリフィードバック
orpo	Odds Ratio Preference Optimization	ハイブリッド選好

データセット形式対応

// Alpaca形式
{"instruction": "XXX", "input": "YYY", "output": "ZZZ"}

// ShareGPT形式
{"conversations": [{"from": "human", "value": "..."}, {"from": "gpt", "value": "..."}]}

// DPO形式（選好ペア）
{"prompt": "...", "chosen": "...", "rejected": "..."}

VRAM要件（Llama-3.1-8B）

手法	Batch=1	Batch=2	備考
QLoRA int4	6.3GB	7.8GB	RTX 3080で可
LoRA bf16	12.7GB	16.8GB	RTX 4090推奨
Full FT bf16	48GB+	OOM	A100必要