GitHub CopilotのComputer Useは、画面の内容を読み取り、クリックや文字入力でデスクトップアプリを操作する機能です。まず確認したいのは利用できる環境、現在の権限モード、操作の止め方です。「操作のたびに必ず確認される」とは限りません。
2026年11月6日時点の公式情報をもとに書いています。扱うのはGitHub Copilot CLIで、名前の似たMicrosoft 365 CopilotやCopilot Studioとは設定の手順が別です。末尾の練習問題は私が作ったもので、速度などは測っていません。
使える環境と、向いている作業
Computer Useはパブリックプレビューで、初期状態では無効です。GitHubは、macOSとWindowsのローカルセッションでの利用を案内しています。APIやコマンド操作が用意されていない画面で、情報を読み取ったり、複数の操作をつないだりする用途が想定されています。提供状況や制限はGitHub公式のComputer Use概要で確認できます。
導入時は、テスト用資料から項目を読み取る作業が確認しやすいでしょう。実際の顧客への送信や注文確定を最初の課題にすると、操作ミスと読み取りミスを切り分けにくくなります。対象アプリと完了条件を一つずつ絞ってください。
CLIで状態を確認し、有効化する
- 対話形式のCopilot CLIで
/computer showを入力し、プラグインと接続の状態を確認します。 /permissions showで現在の権限モードを読みます。承認の出方はこのモードに左右されます。- 利用する場合は
/computer onを入力します。macOSではアクセシビリティと画面収録の権限案内が表示されます。組織管理の端末では管理方針も確認してください。 - 対象アプリを限定した読み取りから始め、取得した値を自分の目で照合します。
組織側が機能を無効にしている場合、ローカルの設定で上書きはできません。また、承認画面の「Always allow」は次回以降にも影響します。確認を省くことを目的に選ばず、どのアプリへの許可を残すのかを判断してください。コマンドと権限の詳細は公式CLI手順に掲載されています。
一度だけ許可する場合と、許可を取り消す場合
初めて在庫表を読むなら、承認が表示されたときに対象アプリを確認し、そのセッション限りの「Allow」を選べます。「Always allow」を選ぶと、同じ端末のCopilot CLIとGitHub Copilot appの両方で、そのアプリへの許可が今後のセッションにも適用されます。ツールの拒否ルールは保存済みの許可より優先されます。GitHubのアプリ別権限の仕様
保存した許可はCopilot appからアプリ単位で削除できます。削除が効くのは今後のセッションです。いま進んでいる操作を止めたい場合は、CLIならEscを2回、Copilot appならStopまたはEscを使い、すでに入力された内容を対象画面で確認します。
最初の練習:架空の在庫表を読む
普段使う表計算アプリに、次の3行だけを用意します。これは本物の在庫や個人情報を含まない練習用データです。「発注点以下」を抽出するので、境界の値も含めています。
| 商品 | 在庫 | 発注点 |
|---|---|---|
| ノートA | 8 | 10 |
| ペンB | 12 | 10 |
| 封筒C | 10 | 10 |
依頼文の例:
表計算アプリで開いている練習用在庫表を読み、在庫が発注点以下の商品名と不足数を、このチャットに箇条書きで返してください。不足数は発注点から在庫を引いた値です。表の編集、ファイル保存、発注処理は行わないでください。読めない値は推測せず、そのセルを教えてください。
期待する結果は「ノートA:2」「封筒C:0」です。ペンBが含まれたり、封筒Cが省かれたりしたら、条件の解釈を見直します。さらに列を並べ替えた表でも試すと、位置だけで読み取っていないかを確認できます。正しい結果が出てから、コピーしたテスト資料への入力に進むと、失敗箇所を特定しやすくなります。
止める・無効にする・動かない原因を調べる
CLIで実行中の操作を中断するにはEscを2回押します。継続して使わない場合は/computer offを実行し、/computer showで無効化を確認します。操作を中断しても、すでに行われた入力や保存が元に戻るわけではないため、対象画面も見直してください。
- 利用不可と表示される:対応OS、ローカルセッション、アカウントと組織の提供条件を確認。
- 有効なのに動かない:
/pluginでcomputer-useプラグイン、/mcp listで接続状態を確認。 - macOSで読み取りや入力ができない:公式手順に沿って補助アプリのアクセシビリティ・画面収録権限を確認。
- 違うアプリを操作しようとする:一度中断し、対象ウィンドウと依頼の範囲を狭める。
業務に広げる前の判断基準
練習で記録するのは、成功した回数だけではありません。「読み違えた項目」「人が直した内容」「最終確認にかかった時間」を残すと、手作業より負担が減る場面を判断できます。未確認の成功率や時短率を前提にせず、自分の作業で小さく比較してください。
モデルやAIツールの比較方法は業務用のAI評価手順、長い作業の区切り方はCodexの計画・引き継ぎ例も参考になります。
