The Stack v2（ザスタックブイツー）

The Stack v2 とは

The Stack v2は、BigCodeプロジェクトが2024年に公開したコード特化LLM事前学習データセット。前身のThe Stack v1（358億トークン・358言語）を大幅に拡張し、619プログラミング言語・900億トークンを収録する。StarCoder2（3B・7B・15B）の主要訓練データとして使用される。

v1からの主な改善点

• 規模拡大: 358億 → 900億トークン（約2.5倍）
• 言語数増加: 358 → 619プログラミング言語
• データソース変更: GitHub直接取得 → Software Heritageアーカイブ
• ライセンス確認強化: SH + GitHub照合による二重確認

Software Heritage アーカイブ

The Stack v2の最大の技術革新は、データソースをGitHubからSoftware Heritage（SH）に変更した点。SHは非営利団体が運営するコード長期保存アーカイブで、60億以上のコミット・3.5億以上のリポジトリを保有する。

利点:

• 永続性: 削除されたリポジトリのコードも保有
• 中立性: 特定プラットフォームへの依存を回避
• ライセンス追跡: SPDX形式での系統的なライセンス記録

言語分布（概算）

• JavaScript/TypeScript: 28%
• Python: 15%
• Java: 12%
• C/C++: 11%
• その他619言語: 34%

opt-out メカニズム

開発者は自分のコードをデータセットから除外申請できる。申請はBigCodeプロジェクトの公式サイトからGitHubアカウントを指定して行い、審査後に次期バージョンから除外される設計。

アクセス方法

from datasets import load_dataset

ds = load_dataset(
    "bigcode/the-stack-v2",
    data_dir="data/python",
    split="train",
    streaming=True
)

StarCoder2との関係

StarCoder2-15Bは4.3兆トークンで訓練（The Stack v2および補完データ含む）。コード補完・コード生成・コードQAタスクでCodeLlama等に匹敵する性能を達成した。利用にはHuggingFaceでのBigCode OpenRAIL-Mライセンス同意が必要。