上海AILabが2024年に発表したGUI基盤モデル。Qwen2-VL-7Bをベースに1300万件のGUI操作データで学習し、Web・Windows・macOS・Android・iOSの5プラットフォームに対応する汎用GUIエージェント。

OS-Atlasとは？（オーエスアトラス）意味・特徴をわかりやすく解説

OS-Atlas とは

OS-Atlasは2024年10月に上海AILab（上海人工智能実験室）が発表したGUI Foundation Model。「Atlas（地図帳）」の名の通り、WebブラウザからWindowsデスクトップ、macOS、Android、iOSまで5つの主要プラットフォームのUIを1つのモデルで操作できる汎用性が最大の特徴。

学習データと規模

13Mのマルチプラットフォーム操作データ: 既存公開データセット（AITW、Mind2Web、AMEX等）に加え独自収集データを統合
ベースモデル: Qwen2-VL-7B（Alibaba Qwen Teamの視覚言語モデル、OCR精度が高い）
5プラットフォーム対応: Web・Windows・macOS・Android・iOS

ベンチマーク実績

ベンチマーク	スコア	備考
ScreenSpot	82.8%	発表時SOTA
ScreenSpot-Pro	48.2%	より難しい高解像度版
OSWorld（Full）	72.6%	発表時SOTA
AndroidWorld	67.4%	Android操作

OSWorldはPC操作タスクの包括的ベンチマークで、ファイル管理・Webブラウジング・スプレッドシート操作など369タスクを含む。OS-Atlas発表時点で従来SOTA（GPT-4V+CoT: 51.4%）を大きく上回った。

アーキテクチャ

スクリーンショット + テキスト指示
        ↓
  Qwen2-VL-7B（視覚エンコーダ+LLM）
        ↓
  マルチプラットフォーム操作データで追加学習
        ↓
  操作出力: {"action": "click", "coordinate": [540, 320]}
             {"action": "type", "text": "hello"}
             {"action": "scroll", "direction": "down"}

主な操作タイプ

Click / Double-click: 座標指定クリック
Type: テキスト入力
Scroll: 方向・距離指定スクロール
Key: キーボードショートカット
Screenshot: 現在画面の取得
Finish: タスク完了宣言

利用方法

Hugging FaceにOS-Copilot/OS-Atlas-Base-7Bとして公開。OS-Copilotフレームワークと組み合わせることで実際のPC操作エージェントとして動作する。

# OS-Atlas 基本利用
from transformers import Qwen2VLForConditionalGeneration, AutoProcessor

model = Qwen2VLForConditionalGeneration.from_pretrained(
    "OS-Copilot/OS-Atlas-Base-7B"
)
processor = AutoProcessor.from_pretrained("OS-Copilot/OS-Atlas-Base-7B")

意義と今後

OS-Atlasの登場はGUI Agent分野における「汎用基盤モデル」時代の到来を示す。特定OS専用ではなく全プラットフォーム対応の単一モデルが実現したことで、企業のRPA自動化・QAテスト自動化・アクセシビリティ支援への応用が加速している。

OS-Atlas（オーエスアトラス）