Computer Use Agent（コンピューターユースエージェント）
AI が PC 画面を自律操作する技術。Anthropic Claude Computer Use (2024-10)、OpenAI Operator (2025-01)、Google Project Mariner が代表。2026年は実用フェーズ。
概要
Computer Use Agent (コンピューター操作エージェント) は AI モデルが PC 画面を視覚的に読取り、マウス/キーボード/コマンド入力で実際の業務操作を代行する技術。Anthropic Claude 3.5 Sonnet Computer Use (2024年10月22日 Public Beta 発表) が業界の起点で、続いて OpenAI Operator (2025年1月)、Google Project Mariner (2024年12月)、Microsoft Copilot Vision (2024年12月)、xAI Grok Browse (2025年Q3) が参入し競争激化中。
2025-2026年は 業務自動化の新パラダイム として位置づけられ、従来の RPA (UiPath/Automation Anywhere) を超える柔軟性を実現。Claude 4.7 Computer Use (2026年4月) では「Excel に新規行追加→Web フォーム入力→PDF 印刷→Email 送信」のような複合業務を 70-85% 成功率で実行可能。BCG 2025年内部レポートでは「コンサルタントの汎用デスクワークの 35-50% を AI Agent が代替可能」との推計。
技術的には VLM (Vision Language Model) + Tool Use 統合 で実現。AI が画面スクリーンショットを解析し、座標 + 操作種別を JSON で出力、ローカル/リモート PC のデスクトップアプリへ送信する。OSS では Browser Use (Browser-only)、OpenInterpreter (CLI/GUI)、Auto-GPT/AgentGPT (古典) があり、商用 API は Anthropic/OpenAI/Google から月額 $20-200 で提供。
主な特徴・仕組み
- 入力: 画面スクリーンショット (PNG)、ユーザ指示 (自然言語) → VLM で解析
- 出力: マウス座標 (x, y) + クリック種別 / キー入力 / コマンド実行
- 対応 OS: Windows / macOS / Linux (ブラウザ経由は OS 非依存)
- 対応アプリ: Web ブラウザ全般、Office / Slack / Notion / Figma / Photoshop / DAW
- 成功率 2026 (複合タスク): Claude 4.7 = 70-85% / OpenAI o4 Operator = 75-88% / Gemini 2.5 = 65-80%
- API 料金: Claude Computer Use $3-15/M tokens、OpenAI Operator $200/月 (Pro Plan)
- 遅延: 1ステップあたり 2-8秒、複合タスク (10ステップ) で 30-90秒
- セキュリティ: クレデンシャル誤送信リスク、人間の確認ステップ ([Confirm] 押下) を組込必須
- エラー回復: 失敗時に self-correction で再試行、最大 5-10回まで
- 業界応用: 経理処理 / カスタマーサポート / 営業データ更新 / コンテンツ移行 / QA テスト
主要 Computer Use Agent 比較表（2026年4月）
| サービス | リリース | 月額 | 対応 | 成功率 | 強み |
|---|---|---|---|---|---|
| Claude Computer Use | 2024-10 | API 従量 | デスクトップ | 70-85% | 業界初・最高品質 |
| OpenAI Operator | 2025-01 | $200 (Pro) | Web 主体 | 75-88% | 速度・UX |
| Google Project Mariner | 2024-12 | 限定 Beta | Chrome 拡張 | 65-80% | Workspace 統合 |
| Microsoft Copilot Vision | 2024-12 | $30 (Copilot Pro) | Windows/Edge | 60-75% | Office 統合 |
| Browser Use (OSS) | 2024-12 | 無料 | ブラウザのみ | 55-70% | OSS、自前運用可 |
| OpenInterpreter | 2023-09 | 無料 | CLI/GUI | 50-65% | OSS、ローカル LLM 対応 |
| AutoGPT | 2023-03 | 無料 | スクリプト | 30-50% | 元祖、現在は陳腐化 |
| Adept ACT-2 | 2024 (買収) | EOL | Web | EOL | Amazon 買収後消失 |
自作PC で Computer Use Agent を実行する環境
ローカル LLM ベース・商用 API ベース両対応の自作PC：
- CPU: Ryzen 9 9900X (12C24T, ¥99,800) — Multi-step 自動操作で複数アプリ並列起動
- GPU: RTX 4090 24GB (¥289,980) — Llama 4 Vision 70B Q5 ローカル実行で月¥0 運用
- メモリ: DDR5-6000 64GB (¥49,800) — 操作対象の Office/ブラウザ+VLM 推論並列
- ストレージ: NVMe Gen4 SSD 2TB (¥28,800) — モデル+スクリーンショット+ログ
- OSS スタック: Browser Use 0.1.40 + Ollama (Qwen3-VL 32B) で月¥0 運用
- 商用 API: Anthropic API ($20/月+従量) または OpenAI Pro ($200/月) で最高品質
- セキュリティ: 専用 VM (Hyper-V/QEMU) 内実行、ホスト OS 隔離必須
Computer Use Agent と類似技術の違い
- Computer Use vs RPA (UiPath/AA): RPA はルールベース、Computer Use は LLM ベースで柔軟
- Computer Use vs ブラウザ拡張: 拡張は事前定義動作、Computer Use は動的判断
- Computer Use vs API 連携: API は構造化、Computer Use は人間の操作を模倣
- Computer Use vs Macro: マクロは単純記録再生、Computer Use は意図理解+実行
よくある質問（FAQ）
Q1: 個人で使う場合の現実的用途は？ A: ① 定期データ移行 (Notion → Obsidian、4-8時間→30分) ② 大量フォーム入力 (Web フォーム100件→自動投入) ③ 競合調査 (10社の Web サイト → 構造化データ抽出) ④ メール一括処理 (1,000通→分類・返信ドラフト)。月¥0-200 のコスト効果が圧倒的。
Q2: セキュリティリスクは？ A: 重大。Cookie/トークン読取り、銀行サイト操作、機密文書アクセス可能なため、専用 VM/コンテナ内実行+監査ログ必須。Anthropic は2025年4月の Beta 終了時に「機密データ操作は人間が最終確認すべき」と明言、本番業務での無人運用は2026年もリスク高い。
Q3: 自作PC でローカル LLM ベース Computer Use は実用？ A: 部分的に実用。Qwen3-VL 32B Q5 + RTX 4090 24GB なら成功率 50-65%、商用 API の 70-85% より低い。簡単な Web 操作・データコピペは可、複雑な Excel マクロ・Photoshop 編集は商用 API 推奨。
まとめ
- Computer Use Agent = AI が PC 画面を自律操作、Anthropic 2024年10月起点
- 主要は Claude/OpenAI Operator/Google Mariner/MS Copilot Vision、成功率 60-85%
- 業務自動化の新パラダイム、コンサル業務 35-50% 代替予測 (BCG 2025)
- 自作PC は RTX 4090+Browser Use OSS で月¥0 運用、商用 API は月$20-200