AI・機械学習
中級
SeeAct（シーアクト）
Ohio State大学が2024年に発表したGPT-4V駆動のWeb操作エージェント。DOMとスクリーンショットの両情報を組み合わせたGrounding手法で、Webフォーム・ショッピング・情報収集などのブラウザタスクを自律実行する。
0 回閲覧
0 いいね
2026/6/8 更新
関連タグ
gui-agent
web-agent
gpt-4v
playwright
dom-grounding
ohio-state
SeeAct とは
SeeAct（System for Execution of Actions with Vision and Text）は2024年1月にOhio State UniversityのQin Yueらが発表したWebブラウザ操作エージェント。GPT-4Vを使い「見る（Vision）+ 読む（Text）」の両チャンネルでWebページを理解し、実際のブラウザ操作を生成する。
コアアイデア：デュアルグラウンディング
純粋視覚エージェントとDOM-onlyエージェントの中間に位置するアプローチを採用：
入力1: スクリーンショット（視覚的レイアウト理解）
+
入力2: DOM候補要素のテキスト抽出（精確な要素特定）
↓
GPT-4V
↓
出力: {"action": "click", "element_id": "btn_submit"}
または
{"action": "type", "element_id": "input_email", "value": "[email protected]"}
スクリーンショットだけでは座標精度が低く、DOMだけでは視覚的文脈が失われる。両者を組み合わせることでGrounding精度を大幅改善。
2段階操作生成
Step 1: Action Proposal（操作提案）
GPT-4Vがスクリーンショット全体を見て「次に何をすべきか」を自然言語で記述：
- 例: 「検索ボックスに'ノートPC'と入力する」
Step 2: Action Grounding（操作紐付け）
DOM候補リスト（インタラクティブな要素50件程度をテキスト化）と照合し、具体的なDOM要素IDを特定：
- 例:
<input id="search-box" placeholder="商品検索...">→ element_id: "search-box"
実行エンジン
Playwright（Microsoft製ブラウザ自動化ライブラリ）経由でChromiumを操作。主な操作：
| 操作 | Playwright コード |
|---|---|
| クリック | page.click(f'[id={element_id}]') |
| テキスト入力 | page.fill(f'[id={element_id}]', value) |
| 選択肢選択 | page.select_option(selector, value) |
| スクロール | page.evaluate("window.scrollBy(0, 500)") |
ベンチマーク実績
| ベンチマーク | スコア | 比較 |
|---|---|---|
| Mind2Web-Live（Task成功率） | 23.8% | GPT-3.5 Turbo: 9.2% |
| Mind2Web（Element Acc） | 51.1% | 発表時SOTA |
| WebSRC（情報収集） | 67.4% | - |
Mind2Web-Liveは実際のWebサイトでタスクを実行するライブベンチマークで、静的データセットより難易度が高い。
オープンソース
GitHub OSU-NLP-Group/SeeAct で公開。Apache-2.0ライセンス。Pythonパッケージとして提供：
pip install seeact
# または
git clone https://github.com/OSU-NLP-Group/SeeAct
限界と課題
- GPT-4V API依存: 推論コストが高く低レイテンシ要求環境に不向き
- 動的コンテンツ: ReactのShadow DOM・WebComponentsで要素特定が困難なケース
- 認証フロー: OAuth・CAPTCHA等で操作が中断
- ページ遷移の文脈維持: 長いマルチステップタスクで文脈ウィンドウが圧迫
これらの課題は後続研究（OS-Atlas・AGUVIS等）で改善が進んでいる。