AI・機械学習
上級
Unigram ウォーターマーク(ユニグラムウォーターマーク)
LLMテキスト検出のためのウォーターマーク手法。固定Greenlist(ユニグラム単位)でトークン偏りを生成し、テキスト品質劣化を最小化する。
0 回閲覧
0 いいね
2026/6/7 更新
関連タグ
watermark
llm-safety
text-provenance
unigram
Unigram ウォーターマーク
概要
Unigram Watermark(Zhao et al., 2023)は、LLM生成テキストに検出可能なシグナルを埋め込むウォーターマーク手法の一種です。Soft Watermark(KGW)が文脈依存のGreenlist生成を行うのに対し、Unigramはトークン固有の固定Greenlistを使用することでテキスト品質への影響を最小化します。
KGWとの差別化
| 特性 | Soft Watermark (KGW) | Unigram Watermark |
|---|---|---|
| Greenlist決定 | 前トークンハッシュ(context依存) | トークンIDのみ(固定) |
| 品質劣化 | 中程度(PPL+5〜15%) | 低(PPL+1〜3%) |
| 推論コスト | 追加ハッシュ演算あり | 最小限 |
| 実装容易性 | 中 | 高 |
| 検出強度 | 同等 | 同等 |
アルゴリズム詳細
- 初期化: 語彙Vをランダムに2分割 → Greenlist G(|G|=γ|V|, 通常γ=0.5)を固定
- 生成: 各ステップでGreenlistトークンのlogitを+δ加算して生成
- 検出: 入力テキストのGreenlistトークン数を計数 → Z統計量 → p値
テキスト品質への影響
Unigramはトークン固有のGreenlistを持つため、特定のトークン(高頻度助詞・助動詞等)が常にGreenlistまたはRedlistに固定されます。これにより高頻度トークンがRedlistの場合、代替表現が強制されますが、文脈に依存しないため同じGreenlistが繰り返し適用され、低頻度ドメイン語のカバレッジが安定します。
実装上の利点
KGWのようなprefix-hash計算が不要なため、バッチ処理での速度低下がありません。語彙全体を事前にGreenlist/Redlistに分類しておくだけで実装できるシンプルさが特徴です。
MarkLLMでの利用
MarkLLM(2024年、清華大学)に統合されており、KGW・Unigram・DipMarkを統一APIで比較評価できます。研究目的での手法比較にはMarkLLMが標準環境として普及しつつあります。
まとめ
Unigram Watermarkは、Soft Watermarkの品質劣化を改善したシンプルかつ実用的なウォーターマーク手法です。オープンソースLLMへの組み込みが容易で、2025年以降のAI出力追跡要件への対応として普及が見込まれます。