AI・機械学習
初級
Language Model（ランゲージモデル）
Language Modelは、人工知能・機械学習分野における重要な概念・技術です。
0 回閲覧
0 いいね
2026/4/25 更新
関連タグ
AI
機械学習
初心者向け
Language Model（言語モデル）
概要
Language Model（言語モデル、LM）は、自然言語の統計的な性質を学習し、文字列の出現確率を計算・予測するモデルです。単語列の次に来る単語を予測したり、文の流暢さを評価したりします。2020 年代以降、Transformer ベースの大規模言語モデル（LLM）が登場し、人間に近い文章生成・理解能力を実現しています。
歴史的変遷
1. N-gram モデル（1980s〜）
最も単純な言語モデル。過去 N-1 語から次の語を予測：
- Unigram: 単語の出現頻度のみ
- Bigram: 2 語の連接確率
- Trigram: 3 語の連接確率
- 限界: 長期依存を捉えられない
2. ニューラル言語モデル（2003〜）
Bengio et al. が導入した NNLM：
- 単語埋め込み（Word Embedding）: 意味ベクトル空間
- 隠れ層: 非線形変換
- 改善: N-gram より高性能
3. Word2Vec / GloVe（2013〜）
単語の分散表現が主流化：
- CBOW: 周辺語から中心語を予測
- Skip-gram: 中心語から周辺語を予測
- 類似度計算: 「王 - 男 + 女 ≒ 女王」
4. RNN / LSTM ベース（2014〜）
- 長期依存: LSTM で改善
- Seq2Seq: 翻訳、要約
- 限界: 並列化不可、長文に弱い
5. Transformer ベース（2017〜）
「Attention Is All You Need」で革命：
- Self-Attention: 全トークン間の関係を並列計算
- スケーラビリティ: 巨大モデル化が可能
- BERT、GPT: 双方向・自己回帰モデル
6. 大規模言語モデル / LLM（2020〜）
- GPT-3: 1750 億パラメータ
- PaLM: 5400 億パラメータ
- GPT-4: 推定 1.7 兆パラメータ（MoE）
- 汎用性: Few-shot Learning、In-Context Learning
主要な LLM（2026年）
クローズドソース
| モデル | 開発元 | 特徴 |
|---|---|---|
| GPT-4o | OpenAI | マルチモーダル |
| GPT-5 | OpenAI | 2025 Q3 予定 |
| Claude 4.5 | Anthropic | 長文・推論 |
| Gemini 2.5 | マルチモーダル |
オープンソース
| モデル | 開発元 | パラメータ |
|---|---|---|
| Llama 3.3 70B | Meta | 700億 |
| Qwen 2.5 72B | Alibaba | 720億 |
| Mistral Large 2 | Mistral AI | 123B |
| DeepSeek V3 | DeepSeek | 671B (MoE) |
| Mixtral 8x22B | Mistral AI | 141B (MoE) |
| Phi-4 | Microsoft | 14B |
言語モデルの用途
テキスト生成
- チャットボット: ChatGPT、Claude、Gemini
- 記事生成: 自動ライティング、要約
- コード生成: GitHub Copilot、Cursor
- 翻訳: DeepL、Google Translate
テキスト理解
- 感情分析: レビュー・SNS 分析
- 固有表現認識: 人名・地名抽出
- 質問応答: 検索エンジン、FAQ
分類・検索
- スパム検出: メールフィルタ
- セマンティック検索: ベクトル類似度
- レコメンデーション: 文章の意味理解
学習手法
Pre-training（事前学習）
- 大規模コーパス: Web、書籍、コードで学習
- Self-Supervised Learning: ラベル不要
- 計算資源: 数千台の GPU、数ヶ月
Fine-tuning（ファインチューニング）
- タスク特化: 分類、生成等にカスタマイズ
- 少量データ: 事前学習済みモデルを微調整
- 計算資源: 1 台の GPU で可能
RLHF（Reinforcement Learning from Human Feedback）
- 人間の選好学習: 応答の質を向上
- ChatGPT の特徴: 指示従順、安全性
- コスト: 大量の人手フィードバック
In-Context Learning
- プロンプト内学習: 追加学習不要
- Few-shot: 数例示して新タスク実行
- Zero-shot: 例示なしで実行
自作 PC でのローカル LLM
必要なスペック
| モデル規模 | 最低 VRAM | 推奨 GPU |
|---|---|---|
| 7B | 6GB (INT4) | RTX 4060 Ti 16GB |
| 13B | 10GB (INT4) | RTX 4070 Ti 16GB |
| 32B | 20GB (INT4) | RTX 4090 24GB |
| 70B | 40GB+ (INT4) | RTX 4090 × 2 |
| 405B | 200GB+ | H100 × 4+ |
実行環境
- Ollama: 最も簡単、CUI ベース
- LM Studio: GUI、初心者向け
- text-generation-webui: 高機能、細かい設定
- vLLM: 本番環境、高速推論
- llama.cpp: 量子化、CPU 実行可
量子化による省メモリ化
| 量子化 | サイズ | 精度 |
|---|---|---|
| FP32 | 100% | 最高 |
| FP16 | 50% | ほぼ同等 |
| INT8 | 25% | やや低下 |
| INT4 | 12.5% | 明確な低下 |
| INT2 | 6% | 実用性低下 |
評価ベンチマーク
知識・推論
- MMLU: 大学レベルの多分野試験
- BBH: 複雑な推論タスク
- GSM8K: 数学問題
- HumanEval: コード生成
会話能力
- MT-Bench: マルチターン会話
- Chatbot Arena: ユーザー投票式
- AlpacaEval: 指示従順度
安全性
- TruthfulQA: 虚偽情報生成
- ToxiGen: 有害コンテンツ
- Bias: 偏見の検出
関連用語
- LLM（Large Language Model）
- Transformer、Attention
- Token、Embedding、Vector Database
- Fine-tuning、RLHF、LoRA
- Ollama、LM Studio、llama.cpp