Stanford Alpaca（スタンフォードアルパカ）
Stanford Alpacaは、スタンフォード大学が2023年にSelf-Instruct手法を用いてGPT-3.5（text-davinci-003）から52,000件の指示データを生成し、Meta LLaMA 7Bモデルをファインチューニングしたオープンソースプロジェクトである。
Stanford Alpaca（スタンフォードアルパカ）
Stanford Alpacaは、2023年3月にスタンフォード大学のRohan Taori氏らが発表したInstruction Tuningプロジェクトである。GPT-3.5（text-davinci-003）でSelf-Instruct手法により52,000件の指示データを生成し、Meta LLaMA 7BをファインチューニングしてChatGPTに迫る性能を実現した。総コストは$600以下で、オープンなLLM開発の民主化を加速させた象徴的プロジェクトである。
概要とインパクト
Alpacaの最大の衝撃は「$600と3時間のGPU時間でChatGPTに近い性能のモデルが作れる」という事実の実証にあった。当時、OpenAIのGPT-3.5/4は数百万ドル規模の学習コストが推定されていた中、Alpacaはデータ生成に$500、学習にA100 8台×3時間（推定$100相当）で動作するモデルを完成させた。
2023年3月13日の公開直後、GitHubで24時間以内にStar数が10,000を突破し、1週間で25,000 Starを記録。後続の「LLaMAベース + Instruction Tuning」プロジェクトラッシュ（Vicuna、WizardLM、Koala、GPT4ALL等）の火付け役となった。
データ生成パイプライン
Alpacaのデータ生成はSelf-Instruct手法をベースに、以下の改良を加えている：
- シード指示: Self-Instructの175件をそのまま使用
- 教師モデル: GPT-3（davinci）からtext-davinci-003にアップグレード（Instruction Tuning済みモデルで品質向上）
- 生成プロンプト: 「以下の20件の指示を参考に、新しい指示を生成してください」という統合プロンプトで効率化
- バッチ生成: 1回のAPI呼び出しで複数件を同時生成し、コスト削減
- フィルタリング: 同一指示の除外、過短/過長応答の除外、英語以外の除外
| 項目 | Self-Instruct | Alpaca |
|---|---|---|
| 教師モデル | GPT-3 davinci | text-davinci-003 |
| データ数 | 52,000件 | 52,000件 |
| 生成コスト | 約$600 | 約$500 |
| シード数 | 175件 | 175件（同一） |
| 出力品質 | 中程度 | 高品質（003の指示追従力） |
学習設定
- ベースモデル: LLaMA 7B（Metaの事前学習済みモデル）
- 学習ハードウェア: A100 80GB × 8台（FSDP: Fully Sharded Data Parallelism）
- 学習時間: 約3時間（52,000件、3エポック）
- 最大シーケンス長: 512トークン
- 学習率: 2e-5（コサインスケジューラ、ウォームアップ比率3%）
- バッチサイズ: 128（勾配累積で実現）
- 最終モデルサイズ: 約13GB（FP16）
評価結果と限界
人手によるブラインド評価（Alpaca vs text-davinci-003）：
- 全体勝率: Alpaca 7Bが252テスト指示中で約90%の場面でtext-davinci-003と同等以上と評価
- 得意分野: 一般的な質問応答、テキスト生成、ブレスト
- 苦手分野: 数学的推論、コード生成、事実性を要する質問
主な限界：
- ハルシネーション率が高い（事実確認なしの学習データ由来）
- 安全性フィルタが不十分（有害出力の可能性）
- 512トークン制限でロングコンテキストに非対応
- LLaMA 7Bの事前学習能力に制約（13B/65Bで改善余地あり）
派生プロジェクト
Alpacaの成功は巨大なエコシステムを形成：
- Alpaca-LoRA（2023年3月）: tloen氏によるLoRA版。RTX 4090 1台で4時間の学習が可能に。メモリ使用量を1/10に削減
- Vicuna（LMSYS、2023年4月）: ShareGPTデータ（ユーザー実対話70K件）でLLaMA 13Bを学習。GPT-4評価でAlpacaを大幅に上回る
- Koala（UC Berkeley、2023年4月）: ShareGPT + Alpacaデータの混合でLLaMA 13Bを学習
- GPT4ALL（Nomic AI、2023年3月）: 437K件の大規模合成データでLLaMA 7Bを学習。CPU推論に最適化
- Japanese Alpaca: Alpacaの52Kデータを日本語に機械翻訳し、日本語LLaMAモデルを学習
2026年現在の位置づけ
Alpaca自体は2023年の歴史的プロジェクトであり、2026年現在では直接的な利用は推奨されない。しかし、以下の点で技術史上の重要な転換点として記録される：
- LLM民主化の象徴: 大学の研究室レベルでChatGPT相当のモデルを作れることを実証
- Self-Instruct手法の大規模実証: 理論から実践への橋渡し
- LoRAの普及促進: Alpaca-LoRAが個人GPU開発者によるLLMカスタマイズを可能にした
- 評価手法の確立: AlpacaEvalが後続のLLM評価スタンダードの一つに
よくある質問（FAQ）
Q1: Alpacaのデータでファインチューニングしたモデルは商用利用できますか？ A: Alpacaの学習データはOpenAIのGPT-3.5出力を含むため、OpenAIの利用規約により商用利用は制限される可能性があります。商用利用には、Dolly 2.0（人手データ、CC BY-SA 3.0）やOpenAssistant（CC BY 4.0）など、ライセンスが明確なデータセットを使用してください。
Q2: Alpacaと現在のオープンモデル（Llama 3.1、Qwen 3等）との違いは？ A: 2026年の主要オープンモデルは、数千億トークンの事前学習 + 数百万件のInstruction Tuning + DPO/RLHFによるアライメントを経ており、Alpacaの52K SFTのみとは次元が異なります。Alpacaの意義は「小規模データでも驚くほどの性能が出る」という発見にあります。
Q3: Alpacaのデータを2026年の最新モデルに適用する意味はありますか？ A: 52KのAlpacaデータ単体を最新8B以上のモデルに適用する価値は低いです。ただし、ドメイン固有データ（医療、法律、金融）とAlpacaデータを混合して汎化性能を維持しつつ専門性を付与する手法は依然として有効です。
まとめ
- Stanford Alpacaは$600以下でChatGPTに迫る性能を実現したオープンソースプロジェクト
- Self-Instruct手法でGPT-3.5から52K件のデータを自動生成しLLaMA 7Bを学習
- Alpaca-LoRA、Vicuna、GPT4ALL等の大規模派生エコシステムを生成
- LLM開発の民主化とオープンソースAIムーブメントの象徴的存在
- AlpacaEvalは2026年現在もLLM評価のスタンダードの一つとして利用される