SaulLM-7B（ソールエルエムセブンビー）

SaulLM-7B とは

SaulLM-7Bは英国のAIスタートアップInstaDeepとデータ企業LexisNexisが共同開発した法律特化型大規模言語モデル。Mistral-7BをベースにContinued Pretraining（継続事前学習）を実施したもので、一般公開（Apache 2.0ライセンス）されている点がLegal AIの分野で注目を集めた。

開発背景

Legal AI分野では長らくClosed-sourceモデル（Harvey AIのGPT-4ベース等）が主流だったが、SaulLM-7Bの公開により研究者・中小法律事務所・新興リーガルテックが自社インフラで法律LLMを運用できるようになった。

アーキテクチャ詳細

ベースモデル: Mistral-7B

Mistral-7Bを選択した理由:

• Grouped-Query Attention（GQA）: 推論速度とメモリ効率の改善
• Sliding Window Attention: 8,192トークンの長文書対応
• 優れたベース性能: LLaMA-2-13B相当の性能を7Bパラメータで達成

継続事前学習データ

SaulLM-7B-Instruct

Base modelにInstruction Tuningを追加したバージョン。SFTデータとして:

• 法律QAペア: 約100万ペア（合成データ含む）
• Constitutional AI的な拒否パターン: 「これは法的助言ではありません」等
• RLHF相当の人間フィードバック: 法律専門家によるランキングデータ

性能評価（LegalBench）

LegalBenchは162の法律タスクからなる包括的ベンチマーク:

GPT-3.5と同等またはそれ以上のタスクが多数あり、7Bモデルとして驚異的な性能。GPT-4には及ばないが、コスト・プライバシーの観点でオンプレミス運用の選択肢として有効。

実務的な強み

プライバシーコンプライアンス

法律文書には機密性の高い情報が含まれる。SaulLM-7Bはオンプレミスまたはプライベートクラウドにデプロイ可能なため、機密データをOpenAI等の外部APIに送信するリスクを回避できる。多くの弁護士会・コンプライアンス規制がこれを要求している。

コスト効率

GPT-4 Turboと比較して推論コストが約1/50〜1/100。大量の文書処理（デューデリジェンス等）で大幅なコスト削減が可能。

カスタマイズ性

Apache 2.0ライセンスにより、特定の法域（日本法・EU法）や業務（M&A・IPO・特許）向けの追加ファインチューニングが自由に実施可能。

限界と注意事項

• 英語中心: 学習データの95%以上が英語。日本語法律文書への直接適用は精度低下が大きい
• 知識カットオフ: 継続学習データの時点以降の法改正は反映されない
• 法的責任の問題: いかなる国の法律においても、AIの法律回答は公認弁護士の見解と同等の法的効力を持たない
• ハルシネーション: 存在しない判例の引用（Phantom Citation）が依然として発生する

後継モデル

• SaulLM-141B: 2024年に発表された141Bパラメータ版。法律タスクでGPT-4に匹敵する性能を報告
• SaulLM-72B: Qwen-72Bベースの多言語対応版（開発中）

日本語法律AIへの示唆

SaulLM-7Bの手法（強力な汎用LLM + 大規模法律コーパス継続学習）は日本語法律LLMの参考モデル。日本語版SaulLMとも言える「LegalLLM-JP」の研究が東京大学・産業技術総合研究所で進んでいる。