Llama 3.2 1B（ラマサンテンニーイチビー）
Metaが2024年9月に公開した12.4億パラメータの超小型言語モデル。128Kコンテキスト対応でスマートフォン・エッジデバイスへのネイティブ展開を主目的とし、Apache 2.0でオープン公開された。
Llama 3.2 1B とは
Metaが2024年9月に公開した12.4億（1.24B）パラメータの超小型言語モデル。Llama 3.2シリーズの最小版として、スマートフォン・タブレット・IoTデバイスでのオンデバイス推論を主目的に設計された。同時公開の3Bモデルとともに、エッジAIのオープンスタンダード確立を目指す。
主要スペック
| 項目 | 仕様 |
|---|---|
| パラメータ数 | 1.24B（12.4億） |
| コンテキスト長 | 128K |
| アーキテクチャ | Transformer Decoder（GQA採用） |
| 語彙サイズ | 128,256 |
| ライセンス | Llama 3.2 Community License（≒Apache 2.0） |
| 公開先 | Meta AI・Hugging Face・Ollama |
スマートフォン展開戦略
Llama 3.2 1B/3Bはスマートフォンへの展開を強く意識した設計で、MetaはApple・Qualcommとの協力のもと最適化を実施。
Apple（iOS）: Core MLコンバートとAppleニューラルエンジン（ANE）向け最適化。iPhone 15 Pro以降でリアルタイム推論が可能。
Qualcomm（Android）: Snapdragon 8 Gen 3向けのNPU最適化。Snapdragon X Elite搭載Windowsラップトップにも対応。
MediaTek: Dimensity 9300搭載Androidスマートフォン向けの最適化を提供。
128K コンテキストの実現方法
1.24BというパラメータでGPTクラスの128Kコンテキストを実現するため:
- Grouped Query Attention（GQA）: KVキャッシュを大幅削減（通常MHAの1/8以下）
- RoPE（Rotary Position Embedding）: 長いシーケンスへの汎化を向上
- Flash Attention 2: メモリ効率的なAttention計算
ただし実用的な長コンテキスト処理では精度が低下する傾向があり、実効的には32K程度での使用が推奨される場合が多い。
ベンチマーク比較
| ベンチマーク | Llama 3.2 1B | Llama 3.2 3B | SmolLM2 1.7B |
|---|---|---|---|
| MMLU | 49.3% | 63.4% | 51.9% |
| HellaSwag | 61.0% | 72.7% | 73.2% |
| ARC Challenge | 39.8% | 48.7% | 46.2% |
| TriviaQA | 59.0% | 74.5% | – |
1Bクラスとしては水準的な性能で、特にSmolLM2 1.7Bに一部ベンチマークで劣る場面もあるが、エコシステムの広さ（llama.cpp/Ollama/Transformers完全対応）が強み。
Llama 3.2シリーズ全体像
| モデル | パラメータ | 特徴 |
|---|---|---|
| Llama 3.2 1B | 1.24B | 超軽量エッジ |
| Llama 3.2 3B | 3.21B | バランス型エッジ |
| Llama 3.2 11B Vision | 11B | ビジョン対応（軽量） |
| Llama 3.2 90B Vision | 90B | ビジョン対応（高性能） |
1B/3BはテキストのみのモデルだがLlama 3.1（405B/70B/8B）を引き継ぐ系譜で、11B/90BはVisionマルチモーダル対応。
ローカル実行方法
# Ollama でのインストール（最もシンプル）
ollama pull llama3.2:1b
ollama run llama3.2:1b
# HuggingFace Transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.2-1B-Instruct")
# iPhone (iOS) — MLX経由
# mlx-lm ライブラリでCore ML変換後にデバイス実行
プライバシーとオンデバイスの優位性
Llama 3.2 1Bをスマートフォンで動かす最大のメリットは完全なデータプライバシー。ユーザーの入力（メッセージ・文書・写真のキャプション等）がサーバーに送信されることなく処理される。
医療情報・個人的な日記・企業機密文書など、クラウドAPIに送りたくないデータの処理に最適。
まとめ
Llama 3.2 1BはスマートフォンでLLMを動かすという野心的な目標に向けたMetaの答え。1.24Bという極小パラメータで128Kコンテキストを実現し、Apple・Qualcommとの最適化協力で実用的なオンデバイス推論を可能にした。Apache 2.0に準じたライセンスとLlamaエコシステムの広さにより、エッジAI開発の標準プラットフォームとして急速に普及している。