Grok-1（グロックワン）
xAI（Elon Musk設立）が2024年3月にオープンソース公開した314Bパラメータ（アクティブ86B）のMixture-of-Experts大規模言語モデル。8個のエキスパートからTop-2を選択するMoEアーキテクチャで、公開時点でオープンソース最大のLLMだった。Apache 2.0ライセンス。
Grok-1とは
Grok-1は、Elon Musk率いるxAI社が2024年3月にApache 2.0ライセンスでオープンソース公開した314BパラメータのMixture-of-Experts大規模言語モデルである。Xプラットフォーム（旧Twitter）のAIアシスタント「Grok」の初代基盤モデルで、公開時点ではオープンソースとして世界最大規模のLLMだった。
主な特徴
- 314Bパラメータ: 総パラメータ314B、8個のエキスパートからTop-2を選択し86Bがアクティブ
- 公開時最大のオープンLLM: 2024年3月の公開時点でMixtral 8x22B（141B）やLlama 2 70Bを大幅に上回る規模
- Apache 2.0ライセンス: 完全にオープンなライセンスで商用利用可能。モデル重みとアーキテクチャをGitHubで公開
- JAX/Rust実装: 学習・推論コードがJAX（Google系MLフレームワーク）とRustで実装。PyTorchではない独自スタック
- Xプラットフォーム統合: Grok-1をベースに、Xのポスト・トレンド・ニュースにアクセスするAIアシスタント「Grok」を構築
- カスタムハードウェア: xAI独自のクラスタ「Colossus」（100,000基のH100 GPU）で後継モデル（Grok-2/3）を学習
- ユーモア重視: Grokのキャラクター設定は「銀河ヒッチハイク・ガイド」にインスパイア。皮肉やユーモアを含む回答スタイル
スペック比較
| モデル | 総パラメータ | アクティブ | エキスパート数 | ルーティング | ライセンス | 公開日 |
|---|---|---|---|---|---|---|
| Grok-1 | 314B | 86B | 8 | Top-2 | Apache 2.0 | 2024-03 |
| Mixtral 8x22B | 141B | 39B | 8 | Top-2 | Apache 2.0 | 2024-04 |
| DeepSeek-V3 | 671B | 37B | 256 | Top-8 | 独自 | 2024-12 |
| Llama 3.1 405B | 405B | 405B (Dense) | - | - | Llama License | 2024-07 |
Grokシリーズの進化
| バージョン | 時期 | パラメータ | 特徴 | 公開状況 |
|---|---|---|---|---|
| Grok-1 | 2024-03 | 314B MoE | 初代・オープンソース | Apache 2.0 |
| Grok-1.5 | 2024-03 | 非公開 | 128Kコンテキスト・コード改善 | API のみ |
| Grok-2 | 2024-08 | 非公開 | GPT-4o対抗・画像生成（FLUX統合） | API のみ |
| Grok-3 | 2025-02 | 非公開 | Colossus 100K H100で学習・推論特化 | API のみ |
選び方・注意点
- 推論環境: 314Bモデルのため推論にはH100×4基以上（320GB VRAM）が必要。量子化（Q4）でも128GB以上のシステムメモリが必要
- 実用性: Grok-1は2024年初期のモデルであり、2026年時点ではGPT-4o・Claude 3.5・DeepSeek-V3に性能で劣る。歴史的・研究的意義が主
- 後継モデルとの差: Grok-2/3は大幅に性能向上しているがオープンソースではない。xAI APIでのみ利用可能
- JAX依存: PyTorchではなくJAXで実装されているため、既存のPyTorchエコシステム（vLLM/TGI等）との互換性が低い
- 学習データ非公開: モデル重みはオープンだが学習データの詳細は非公開
よくある質問（FAQ）
Q1: Grok-1はまだ使う価値がある？ A: 実用面ではDeepSeek-V3やLlama 3.1 405Bの方が高性能。Grok-1の価値は「314B MoEのオープン重み」という研究素材としての希少性。MoEの構造分析やファインチューニング研究に活用可能。
Q2: xAIのGrokとOpenAIのGPTの関係は？ A: 完全に別のプロジェクト。GrokはElon MuskがOpenAIへの対抗として設立したxAI社の製品。MuskはOpenAIの共同設立者だったが2018年に離脱し、OpenAIの商業化路線を批判してxAIを設立（2023年7月）。
Q3: Grok-1の「ユーモア」モードはどう実装されている？ A: システムプロンプトとファインチューニングで実現。「you are Grok, a chatbot inspired by the Hitchhikers Guide to the Galaxy」のような指示で皮肉やウィットに富んだ回答を生成。モデルアーキテクチャ自体に特別な仕組みはなく、RLHF/DPOでのスタイル調整。
まとめ
- Grok-1はxAI製の314B MoEモデル、公開時最大のオープンソースLLM
- 8エキスパートTop-2のMoE設計、Apache 2.0で重みを完全公開
- Xプラットフォームのアシスタント「Grok」の初代基盤モデル
- 2026年時点では後継Grok-2/3が性能で大幅に上回るが、研究素材としての価値は継続