FLAN（Finetuned Language Net）（フラン）
FLANはGoogle Researchが2021年に発表した、複数のNLPタスクを統一的な指示形式に変換してLLMをファインチューニングするInstruction Tuningの先駆的手法である。
FLAN（Finetuned Language Net）
FLANは、Google Researchが2021年に発表したInstruction Tuningの先駆的フレームワークである。複数のNLPタスクを自然言語の指示形式に統一変換し、単一のLLMに同時学習させることで、未知のタスクに対するゼロショット汎化性能を大幅に向上させた。
概要と研究背景
2021年当時、GPT-3（175Bパラメータ）はFew-shot学習で多くのタスクに対応できたが、ゼロショット（例示なし）での性能は不安定だった。Google Researchチームは「タスクを自然言語の指示として表現し、多数のタスクで同時にファインチューニングすれば、未知のタスクにもゼロショットで対応できるのではないか」という仮説を検証した。
初代FLANでは、LaMDA-PT 137Bモデルをベースに、62種類のNLPタスク（感情分析、自然言語推論、質問応答、翻訳、要約など）を10種類のテンプレートで指示形式に変換。各タスクを「以下の文章の感情を判定してください」「この質問に回答してください」といった自然言語指示に統一した。
FLANシリーズの進化
| バージョン | 公開年 | タスク数 | ベースモデル | 主な成果 |
|---|---|---|---|---|
| FLAN | 2021 | 62 | LaMDA-PT 137B | ゼロショットでGPT-3超え |
| Flan-T5 | 2022 | 1,800+ | T5 (80M-11B) | オープンソースで最強クラス |
| Flan-PaLM | 2022 | 1,800+ | PaLM 540B | MMLU 75.2%達成 |
| Flan-UL2 | 2023 | 1,800+ | UL2 20B | コスパ最適バランス |
FLAN-v2（2022年、正式名称「Scaling Instruction-Finetuned Language Models」）では、タスク数を62から1,800以上に拡大し、473のデータセットを統合。Chain-of-Thought（CoT）プロンプティングのデータも混合することで、推論能力の向上も同時に達成した。
技術的詳細
FLANの核心的な技術要素：
- タスクテンプレート: 各タスクに対して10種類の異なる指示テンプレートを用意。「Classify the sentiment」「Is this review positive or negative?」「What is the sentiment of: {text}」など、表現のバリエーションで汎化を促進
- タスククラスタリング: 類似タスクをクラスタにグループ化し、評価時はクラスタ単位でheld-outして未知タスクへの汎化を検証
- スケーリング則: タスク数が増えるほどゼロショット性能が向上する対数的スケーリング則を確認。62タスク→282タスク→1,800タスクで単調に性能向上
- CoT混合: FLAN-v2では、通常の入出力ペアとChain-of-Thoughtの推論ステップ付きペアを約9:1の比率で混合。数学・論理推論タスクで大幅改善
ベンチマーク結果
FLAN-PaLM 540Bの主要ベンチマーク成績：
- MMLU（知識）: 75.2%（PaLM素体 69.3% から +5.9pt向上）
- BBH（推論）: 66.3%（PaLM素体 58.2% から +8.1pt向上）
- TyDiQA（多言語QA）: 77.1%（GPT-3.5を上回る）
- MGSM（多言語数学）: 72.0%
- 未知タスクゼロショット: 25ベンチマーク中20で既存最高性能を更新
実装と利用方法
FLAN-T5/UL2はHugging Faceで公開されており、すぐに利用可能：
google/flan-t5-small(80M): エッジ推論向け、CPU実行可能google/flan-t5-base(250M): 軽量タスク向け、RTX 3060で推論可能google/flan-t5-large(780M): バランス型、RTX 4060で快適google/flan-t5-xl(3B): 高品質、RTX 4090推奨google/flan-t5-xxl(11B): 最高品質、A100 40GB推奨google/flan-ul2(20B): FLAN-T5-xxlを上回る、A100 80GB推奨
関連手法との比較
| 手法 | 開発元 | タスク数 | アプローチ | ライセンス |
|---|---|---|---|---|
| FLAN | Apache 2.0 | 1,800+ | NLPベンチマーク変換 | 商用利用可 |
| T0 (BigScience) | BigScience | 62 | P3データセット | Apache 2.0 |
| InstructGPT | OpenAI | 非公開 | RLHF + SFT | 非公開 |
| OPT-IML | Meta | 1,500+ | NLPタスク統合 | 研究用のみ |
よくある質問（FAQ）
Q1: FLANとChatGPTの関係は何ですか？ A: FLANはInstruction Tuningの学術的フレームワークで、タスク指示への汎化に焦点を当てています。ChatGPTはInstruction Tuning（SFT）に加えてRLHFを適用し、対話品質とsafety alignmentを追加した商用製品です。FLANの研究がChatGPTの技術的基盤の一部となっています。
Q2: FLAN-T5とT5の違いは何ですか？ A: T5は事前学習のみのベースモデルで、タスク実行にはタスク固有のファインチューニングが必要です。FLAN-T5は1,800以上のタスクでInstruction Tuningされており、ゼロショットで多様なタスクに対応可能。同じモデルサイズでもFLAN-T5の方がゼロショット性能は大幅に高いです。
Q3: FLAN-T5は2026年現在でも使う価値がありますか？ A: はい。特に小規模モデル（80M-3B）クラスではコスパが優れています。エッジデバイス向け推論、レイテンシ制約のあるリアルタイムアプリケーション、APIコスト削減のためのローカル推論に適しています。ただし、対話品質ではLlama 3.1/Qwen 3/Mistralの方が優れています。
まとめ
- FLANはGoogle Researchが開発したInstruction Tuningの先駆的フレームワーク
- 62タスク→1,800+タスクへのスケーリングでゼロショット性能の対数的向上を実証
- FLAN-T5/UL2はオープンソースで商用利用可能、80Mから20Bまでのサイズ展開
- Chain-of-Thought混合により推論能力も同時に向上
- 現在のInstruction Tuning研究（Alpaca、Orca等）の基盤となった重要な研究