LIMA（Less Is More for Alignment）（リマ レス イズ モア フォー アライメント）

LIMA（Less Is More for Alignment）とは

LIMA（Less Is More for Alignment）は、MetaとCarnegie Mellon University（CMU）が2023年5月に発表したSFT（Supervised Fine-Tuning）に関する重要論文。Llama 65Bモデルを基盤として、わずか1,000件の高品質プロンプト・応答ペアのみで指示追従（Instruction Following）能力を獲得できることを実証した。

研究の核心：Alignment Superficiality仮説

LIMAが提唱する「Superficial Alignment Hypothesis（表層的アライメント仮説）」は以下を主張する。

• モデルの知識と能力はPretraining段階で習得される
• Alignmentは応答形式（フォーマット）の学習であり、新知識の習得ではない
• したがって少量でも高品質なSFTデータで十分にアライメント可能

この仮説は、InstructGPTやChatGPTが使用した大規模RLHFパイプライン（数万〜数十万件の比較データ）に対するシンプルな代替を示唆し、研究コミュニティに大きな影響を与えた。

データ構成（1,000件の内訳）

LIMAのSFTデータは以下のソースから手動でキュレーションされた。

• Stack Exchange: 200件（技術的Q&A、高upvote回答）
• wikiHow: 200件（手順説明タスク）
• Reddit/r/askreddit等: 150件（創造的・対話的タスク）
• Super-Natural Instructions: 50件（多様なNLPタスク）
• 手動作成（著者ら）: 250件（様々なドメイン）
• その他: 150件

多様性（diversity）・品質（quality）・明確な指示（clarity）の3軸で選定。重複・低品質・有害コンテンツを除外した。

評価結果

人手評価（ユーザー選好テスト）によるLIMAの勝率:

• LIMA vs Alpaca-65B: LIMA 72% 勝利
• LIMA vs text-davinci-003: 同程度
• LIMA vs Claude: LIMA 45% / Claude 55%（接戦）
• LIMA vs GPT-4: LIMA 38% / GPT-4 58%（GPT-4優勢だが善戦）

1,000件のSFTデータがRLHFベースのGPT-4/Claudeに匹敵する評価を受けた点が注目された。

AlpaGasus・DEITAとの比較

• LIMA: 1,000件 / 手動キュレーション / 質を極限まで重視
• AlpaGasus: 9,000件 / GPT-4自動スコアリング / スケーラブル自動化
• DEITA: 6,000件 / 複雑性+品質スコア / 自動+多様性制御
• WizardLM: 70,000件 / Evol-Instruct自動拡張 / 量と多様性

LIMAは量より質の極端な実証、AlpaGasusはその自動化版という位置づけ。

再現と後続研究への影響

LIMAの知見は以下の研究・製品に影響を与えた。

• AlpaGasus: LIMAの手動キュレーションをGPT-4スコアリングで自動化
• OpenHermes: 高品質合成データ100万件規模でのLIMA仮説拡張
• Tulu 2: AI2による高品質混合SFTデータセットの大規模実装
• SmolLM2: 小型モデルへのLIMA原則適用

実装上の教訓

独自SFTデータセット作成への示唆:

• 100件の高品質データ > 10,000件の低品質データ（傾向として）
• 各ドメインにつき20〜50件の多様なサンプルが実用的出発点
• 応答品質の基準: 明確な構造・正確な情報・適切な長さ
• 重複（near-duplicate）の排除が品質向上に直結

限界

• Safety（安全性）の観点ではRLHFが依然有効
• タスク複雑性が上がると1,000件では不十分なケースあり
• 超大規模モデルには別途大量SFTデータが必要な可能性

まとめ

LIMAは「データ量信仰」に対するパラダイムシフトを提唱し、2023年のLLM研究における重要な転換点となった。少量高品質データによるSFTが実用的であることを示し、データキュレーションの重要性を研究・エンジニアリング双方で認識させた先駆的研究。