Flan Collection(フランコレクション)
Googleが公開した大規模命令チューニング用データセット集。62のNLPデータセット・473タスク・1836テンプレートを統合し、Flan-T5およびFlan-PaLMの訓練に使用。Chain-of-Thought推論データを標準収録する点が特徴。
Flan Collection とは
Flan Collection(正式名称: The Flan Collection: Designing Data and Methods for Effective Instruction Tuning)は、Googleが2023年に公開した命令チューニング用データセットのメタコレクション。既存の多様なNLPデータセットを統合・標準化し、大規模言語モデルの汎用的な命令追従能力を高めるために設計された。
収録データセット(主要カテゴリ)
62データセット・473タスクを収録する。
- 質問応答: TriviaQA・Natural Questions・WebQuestions
- 要約: CNN/DailyMail・XSum・AESLC
- 翻訳: WMT14・WMT16・OPUS
- 推論: BoolQ・MultiRC・ANLI
- 数学・常識: GSM8K・StrategyQA・CommonsenseQA
- 対話: Persona-Chat・BlendedSkillTalk
Chain-of-Thought(CoT)統合
CoTデータセット(GSM8K・SVAMP・AQuA等)を標準フォーマットで統合した点が技術的革新。通常のQ→A形式に加え、Q→推論過程→A形式の両方を収録し、モデルが推論ステップを学習できる。
通常形式:
Q: 12個りんご、3個食べた。残りは?
A: 9個
CoT形式:
Q: 12個りんご、3個食べた。残りは?
A: 12から3を引く。12 - 3 = 9。答えは9個。
テンプレート設計
473タスクそれぞれに平均3.9個のプロンプトテンプレートを定義。合計1836テンプレートにより多様な言い回しでモデルの汎化を促進する。
templates = [
"{premise}からこの文は言えますか: {hypothesis}",
"前提: {premise} 仮説: {hypothesis} 正しいですか?",
"以下から仮説が導けるか判断: {premise} | {hypothesis}"
]
Flan-T5への影響
Flan-T5(80M〜11B)はT5をFlan Collectionで命令チューニングしたモデル。同規模のT5比較でMMLU・BIG-Benchで+10〜15ポイントの性能向上を達成。zero-shot性能が特に向上し、実用的な命令追従アシスタントとして広く採用された。
アクセス方法
from datasets import load_dataset
ds = load_dataset("Open-Orca/FLAN", split="train", streaming=True)
後継への影響
Flan CollectionはAlpaca・Dolly・ShareGPT等の後続命令チューニングデータセット開発に大きな影響を与えた。現在はOpen Hermes・UltraChatが主流となっているが、Flanは命令チューニング研究の基盤を築いた歴史的データセットとして評価される。