AI・機械学習
上級
DipMark（ディップマーク）
LLM生成テキストの無損失ウォーターマーク手法。トークン分布を再配分してウォーターマーク信号を埋め込みつつ、期待テキスト品質を理論的に保証する。
0 回閲覧
0 いいね
2026/6/7 更新
関連タグ
watermark
llm-safety
text-quality
entropy-preserving
DipMark
概要
DipMark（Wu et al., 2023）は、LLM生成テキストにウォーターマークを埋め込みながらテキスト品質の劣化を理論的にゼロに保つ手法です。Soft Watermark（KGW）がlogit加算による分布歪みを引き起こすのに対し、DipMarkは分布内再配分（distribution-shifted sampling）という異なるアプローチを採用します。
理論的背景：エントロピー保全
KGWスキームの問題点は、logit加算によってトークン選択確率分布のエントロピーが変化することです。これが品質劣化の根本原因です。DipMarkは元の分布p(x)に対し、Greenlistトークンの確率をα倍に増幅、Redlistトークンを縮小し正規化することで、KLダイバージェンスを最小化しながらウォーターマークを埋め込みます。
品質比較実験
| 指標 | KGW (δ=2.0) | Unigram | DipMark | Unwatermarked |
|---|---|---|---|---|
| PPL増加率 | +12.3% | +3.1% | +0.4% | baseline |
| BLEU-4低下 | -8.2% | -2.5% | -0.3% | baseline |
| AUROC検出 | 0.997 | 0.995 | 0.992 | N/A |
DipMarkはほぼ元のテキスト品質を維持しつつ、高い検出精度を実現します。
実用上の制約
- 計算コスト: 分布再配分の正規化計算がKGWより約20%多い
- 短文弱点: 低エントロピー領域のトークンにはほぼ信号が入らないため、100トークン未満の短文では検出率が低下
- 多言語対応: 語彙サイズが大きい言語（日本語等）では計算負荷が増大
まとめ
DipMarkは理論的に品質劣化をゼロに近づける先進的なウォーターマーク手法です。高品質テキスト要件の厳しい法的・医療・学術文書への適用で優位性を発揮し、MarkLLMフレームワークで比較評価が可能です。