BloombergGPT（ブルームバーグジーピーティー）

BloombergGPT とは

BloombergGPT は、Bloomberg L.P. が2023年3月に発表した金融分野特化の大規模言語モデル（LLM）です。500億（50B）パラメータを持ち、金融ドメインの自然言語処理タスクにおいて汎用LLMを大幅に上回る性能を示しました。

学習データ構成

BloombergGPT の最大の特徴は、その学習データの質と量です。総計4,630億トークンのデータで学習されており、内訳は以下の通りです。

• FinPile（金融専用）: 3,630億トークン。Bloomberg Terminalのニュース記事・レポート・財務書類・SEC提出書類・ウェブ上の金融コンテンツで構成
• 汎用コーパス（PILE）: 1,000億トークン。C4・Wikipedia・GitHub・Books・ArXivなど

この「ドメイン特化データ70%・汎用データ30%」という比率が、金融特化性と汎用言語能力の両立を実現しています。

FinPile の詳細

Bloomberg社内の金融データは21年分以上にわたる膨大な情報資産です。

• Bloomberg News: 10年以上のニュース記事
• Bloomberg Reports: アナリストレポート・企業調査
• SEC filing: 10-K・10-Q・8-Kなどの公開書類
• Finance Web: 金融系Webサイトのクロールデータ
• Bloomberg First Word: リアルタイム速報データ

アーキテクチャ

BloombergGPT は BLOOM アーキテクチャをベースに以下の設計で構成されています。

• パラメータ数: 50.6B
• 層数: 70層
• アテンションヘッド: 40ヘッド
• コンテキスト長: 2,048トークン
• 語彙サイズ: 131,072（金融用語拡張済み）
• 学習インフラ: Amazon SageMaker 64台×A100（40GB）= 1,792 GPU、総計53万GPU時間

評価ベンチマーク

BloombergGPT は5種類の金融NLPベンチマークで評価されています。感情分析（FiQA SA・PhraseBank）・見出し分類（Headlines）・NER・質疑応答（FiQA QA・FinQA）のうち、FiQA・PhraseBank・HeadlinesでSOTA（当時）を達成しました。汎用ベンチマーク（Big-Bench Hard・BoolQ・WinoGrande）でも同規模モデルと同等以上の成績を示し、ドメイン特化によって汎用性が損なわれないことを証明しました。

公開状況と限界

BloombergGPT は学術論文（arXiv:2303.17564）のみ公開され、モデルウェイト自体は Bloomberg 社内に留まっています。これがオープンソース代替の FinGPT 開発を促進する契機となりました。2024年以降は Llama 3・Qwen2.5 などの強力なオープンソース基盤モデルを金融データでファインチューニングするアプローチが主流となり、BloombergGPT 単体の優位性は相対化されています。

産業への影響

BloombergGPT の発表は金融AI研究を加速させ、FinGPT・FinMA・Morgan Stanley AI Assistant・JPMorgan IndexGPT などの後続プロジェクトに直接影響を与えました。Bloomberg Terminal ユーザー向けには Bloomberg Intelligence AI として実装が進んでいます。