FActScore（ファクトスコア）

FActScore

概要

FActScore（Factuality Score）は、Sewon Min、Kalpesh Krishna、Xinxi Lyu、Mike Lewis、Wen-tau Yih、Pang Wei Koh、Mohit Iyyer、Luke Zettlemoyer、Hannaneh Hajishirzi（University of Washington / Meta AI、2023年5月）が提案した、LLM生成テキストの事実性を定量的に評価するフレームワークである。

長文テキストを「原子的事実（Atomic Fact）」と呼ばれる最小単位の事実命題に自動分解し、各命題をWikipediaでファクトチェックすることで、生成テキスト全体の事実正確率（FActScore）を0〜100%で算出する。

設計思想：原子的事実の分解

従来のNLI系の文単位評価では、1つの文が複数の事実を含む場合に部分的な誤りを見逃す問題があった。FActScoreは「1文1事実」の原則を徹底する。

分解例:

• 入力文: 「スティーブ・ジョブズは1955年にサンフランシスコで生まれ、Appleを共同創業した。」
• 原子的事実1: 「スティーブ・ジョブズは1955年生まれである」
• 原子的事実2: 「スティーブ・ジョブズはサンフランシスコで生まれた」（→ 誤り）
• 原子的事実3: 「スティーブ・ジョブズはAppleを共同創業した」

分解された各命題をWikipedia検索で検証し、正確な命題数 ÷ 全命題数 × 100 = FActScore となる。

評価パイプライン

[LLM生成テキスト]
       ↓
[原子的事実への自動分解（LLM使用）]
       ↓
[各原子的事実のWikipedia検索]
       ↓
[NLI or LLMによる支持/反駁/不明判定]
       ↓
[FActScore算出]

Step 1: 原子的事実の抽出

GPT-3.5-Turboを使用したInstructionプロンプトで、複合文を最小単位の命題リストへ変換。

Step 2: 知識ソース検索

Wikipedia APIで関連エンティティのパッセージを取得（Dense Passage Retriever使用）。

Step 3: 事実検証

小型NLIモデル（DeBERTa-large）またはLLM-as-Judgeで各命題の支持 / 反駁 / 不明を判定。

主要ベンチマーク結果（2023年）

2025年の発展状況

• FActScore v2: Wikipedia以外のドメイン知識（PubMed・ArXiv）への拡張
• LLM-as-Judge統合: 原子的事実判定をGPT-4oで実施、精度向上
• SAFE（Search-Augmented Factuality Evaluator）: Google ResearchがLLM+検索エンジンで類似手法を実装（2024年）

限界と注意点

• Wikipediaに記述がない情報は「不明」として処理され、正確性を過大評価しやすい
• 原子的事実分解フェーズ自体にLLMを使用するため品質がモデル性能に依存
• 評価コストが高い（長文1件あたり数十〜数百回のAPI呼び出し）

まとめ

FActScoreは「原子的事実分解 → 参照検証」という2段階パイプラインにより、LLM生成テキストの事実性を精密に定量化するフレームワークである。2023年の発表以降、LLMの事実性比較ベンチマークとして広く引用・採用されており、2025年時点ではLLM-as-Judgeとの統合や医療・科学領域への応用が進んでいる。