AI・機械学習
中級
TinyLlama（コンパクト蒸留モデル）（タイニーラマ）
Zhang et al.（2024）が公開した1.1Bパラメータの超軽量LLM。Llama2アーキテクチャをベースにSlimPajama・Starcoderデータで3兆トークン事前訓練し、同サイズクラスで最高水準の性能を達成したオープンソース小型モデル。
0 回閲覧
0 いいね
2026/6/6 更新
関連タグ
TinyLlama
小型LLM
オープンソース
エッジLLM
軽量モデル
TinyLlama とは
TinyLlama（2024）はPeiyuan Zhangらが公開した1.1Bパラメータの超軽量オープンソースLLM。Llama2（7B）と同一のアーキテクチャ設計を1/6のパラメータ数で実装し、同サイズクラスの競合モデル（OPT-1.3B、Pythia-1.4B等）を上回る性能を達成した。
アーキテクチャ詳細
| 設計項目 | 値 |
|---|---|
| パラメータ数 | 1.1B |
| Transformerレイヤー | 22層 |
| 注意ヘッド数 | 32 |
| KVヘッド数（GQA） | 4 |
| 埋め込み次元 | 2048 |
| 語彙サイズ | 32,000 |
| 最大コンテキスト長 | 2048トークン |
訓練データとスケール
- 事前訓練データ: 3兆トークン（SlimPajama 950B + Starcoderデータ等）
- 訓練インフラ: 16 × A100 40GB SXM GPU
- 訓練期間: 約90日間（2023年9月〜12月）
- スループット最適化: FlashAttention-2・FusedSwiGLU・FSDP使用
同サイズ競合との比較
| モデル | パラメータ | CommonSense | ARC-easy | Hellaswag |
|---|---|---|---|---|
| TinyLlama-1.1B | 1.1B | 59.2 | 55.3 | 59.2 |
| OPT-1.3B | 1.3B | 54.3 | 50.4 | 41.4 |
| Pythia-1.4B | 1.4B | 55.5 | 52.1 | 41.5 |
エッジデバイスでの推論性能（Q4量子化参考値）
- Raspberry Pi 5: 約8〜12トークン/秒
- M1 MacBook Air: 約50〜70トークン/秒
- iPhone 15 Pro（Core ML）: 約15〜25トークン/秒
- RAM使用量: Q4_0で約700MB
TinyLlama派生版
- TinyLlama-Chat: SFT + DPOでチャット特化
- TinyLlama-Code: コード生成強化
- OpenHermes-TinyLlama: Hermes形式インストラクション
トレードオフ
長所: エッジ実行可能・高速・メモリ効率・オープン重み 短所: コンテキスト長2048トークン・複雑な推論能力の限界