Computer Use in Claude Code favicon

Computer Use in Claude Code

オープンサイト

Claude Code の Computer Use 機能：macOS上でClaudeが直接GUIを操作し、アプリ開発やテストを自動化

導入:

Claude CodeのComputer Useは、macOSで動作する画期的な研究プレビュー機能です。この機能により、Claudeがあなたの指示に従って直接画面を操作し、アプリの起動、クリック、タイピング、スクリーンショットの撮影を行えるようになります。CLI環境からネイティブアプリのUIテスト、バグの再現、GUIツールの自動化などが可能になり、開発ワークフローを劇的に効率化します。プロプラン以上のユーザーが利用可能です。

追加日:

2026-04-02

月間訪問者数:

14085.4K

コードとIT
Computer Use in Claude Code - AI Tool Screenshot and Interface Preview

Computer Use in Claude Code 製品情報

Claude Code における Computer Use の活用ガイド

Claude Code は、ターミナルから直接AIと対話しながらコーディングを進めることができる強力なツールです。その最新機能の一つである Computer Use は、Claudeが単なるテキストベースの操作を超えて、macOS上のGUI（グラフィカルユーザーインターフェース）を直接操作することを可能にします。

本記事では、Claude Code の Computer Use 機能の詳細、主な特徴、設定方法、そして具体的な活用事例について詳しく解説します。

What's Computer Use (Computer Useとは)

Computer Use は、Claudeが人間のユーザーと同じようにコンピューターの画面を見て、マウス操作やキーボード入力を実行できるようにする研究プレビュー機能です。現在、macOS上の Claude Code v2.1.85 以降、かつ Pro または Max プランのユーザー向けに提供されています。

従来のAIツールはAPIやコマンドライン（Bash）を介した操作に限定されていましたが、Computer Use を有効にすることで、Claudeはネイティブアプリを起動し、ボタンをクリックし、UIのレイアウトを確認するといった、複雑な視覚的タスクを自律的に遂行できるようになります。

注意: この機能は現在 macOS のみに対応しており、TeamやEnterpriseプランでは利用できません。また、インタラクティブなセッションでのみ動作します。

Features (主な特徴)

Claude Code の Computer Use には、開発効率を最大化するための高度な機能が備わっています。

  • 統合されたMCPサーバー: computer-use という名前の組み込みMCPサーバーとして提供され、必要に応じて簡単に有効化できます。
  • インテリジェントなツール選択: Claudeはタスクを遂行する際、まずBashやMCP、Chrome拡張などの精密なツールを検討し、それらで対応できないGUI操作が必要な場合にのみ Computer Use を使用します。
  • 画面の自動保護: Claudeが操作を開始すると、承認されたアプリ以外のウィンドウは非表示になり、プライバシーを保護しながら誤操作を防ぎます。
  • ターミナルの除外: 実行中のターミナル自体はスクリーンショットから除外されるため、Claudeが自分自身の出力を読み取ってループに陥ることを防ぎます。
  • 即時停止機能: Esc キーまたは Ctrl+C を押すことで、いつでもClaudeの操作を即座に中断し、制御を取り戻すことができます。
  • セキュリティ境界: アプリごとの承認制を採用しており、Finderやシステム設定などの機密性の高いアプリには特別な警告が表示されます。

Use Case (活用事例)

Computer Use は、これまで手動で行うしかなかった多くの作業を自動化します。

1. ネイティブアプリの構築と検証

SwiftなどでmacOSアプリを開発する際、Claudeにコードを書かせ、ビルドし、さらに実際にアプリを起動して「設定画面のボタンが正しく動作するか」を視覚的に確認させることができます。

2. エンドツーエンド（E2E）のUIテスト

Playwrightなどの複雑なテスト設定をすることなく、「Electronアプリを開いて、オンボーディングの流れをテストして」と指示するだけで、Claudeがクリック操作とスクリーンショット撮影を行い、フローを確認します。

3. レイアウトバグの再現と修正

「特定のウィンドウサイズでフッターが切れる」といった視覚的なバグを報告すると、Claudeは実際にウィンドウをリサイズしてバグを再現し、CSSを修正して、再度修正が反映されたかを確認します。

4. GUI専用ツールの操作

APIが存在しない古いツールや、シミュレーター（iOS Simulatorなど）、デザインツールの操作をClaudeに任せることができます。

How to Use (設定と使用方法)

Claude Code で Computer Use を開始する手順は以下の通りです。

ステップ 1: MCPメニューを開く

インタラクティブなセッション中に以下のコマンドを実行します。 /mcp

ステップ 2: サーバーを有効にする

リストから computer-use を選択し、Enable を選びます。この設定はプロジェクトごとに保存されます。

ステップ 3: macOSの権限を許可する

初回実行時に、macOSから以下の2つの権限を求められます。

  1. アクセシビリティ: クリックやタイピングを行うために必要です。
  2. 画面収録: 画面の状態を視覚的に把握するために必要です。 設定後、ターミナルで「Try again」を選択します。※反映にアプリの再起動が必要な場合があります。

ステップ 4: セッションごとのアプリ承認

Claudeが特定のアプリを操作しようとすると、その都度承認を求めるプロンプトが表示されます。内容を確認して Allow を選択してください。

FAQ (よくある質問)

Q: "Computer use is in use by another Claude session" と表示されます。 A: この機能は一度に1つのセッションでのみ使用可能です。他のターミナルウィンドウで実行中のセッションを終了させてから再度お試しください。

Q: /mcp メニューに computer-use が表示されません。 A: 以下の点を確認してください：

  • macOSを使用しているか（Linux/Windowsは非対応）
  • Claude Code v2.1.85 以上か
  • Pro または Max プランに加入しているか
  • claude.ai を通じて認証されているか（Bedrockなどの第三者プロバイダーは非対応）

Q: 安全性は確保されていますか？ A: はい。アプリごとの個別承認、ターミナルのスクリーンショット除外、グローバルな脱出キー（Esc）などの多層的なガードレールにより、安全に利用できるよう設計されています。

Q: どのようなアプリでも操作できますか？ A: カテゴリにより制限があります。ブラウザなどは表示のみ（View-only）、ターミナルやIDEはクリックのみ可能、その他のアプリはフルコントロールが可能です。