この記事のポイント
- 画面についてAIに聞くとき、ほとんどの人がスクショを撮って貼り付けています。質問ひとつに、手順が６つ。
- その６つ、全部いりません。ControlとOptionを押しながら、聞きたいところにマウスを動かして、話すだけ。
- 動かしたマウスの跡が、青い線として画面に残ります。これがあるから、「これ、どういう意味？」の「これ」が伝わります。
- どのアプリの上でも使えます。Gmail、明細書、設定画面、写真、表計算、全画面の動画。
- 画面を見るのは、キーを押して聞いているあいだだけ。裏でずっと見張ってはいません。
気づかないうちにやっている６つの手順
メールが届く。なんとなく角が立っている気がして、どう返せばいいか迷う。そこで、みんながやることをやります。スクショのキーを押して、本文を四角で囲んで、ChatGPTを開いて、画像をドラッグして、最後に「これはこういうメールで…」と一文打ち込む。
質問ひとつで６手。しかもこれ、あなたが見ているものをAIに見せる方法が、ほかになかったからです。
同じことを毎日、何百万人が繰り返しています。メール、エラー画面、明細書、宿題、押すはずのボタンが見つからない設定ページ。スクショが目的だったわけではありません。ただ、それしか封筒がなかったのです。
切り取った瞬間に、大事なものが落ちる
切り取りは、当てずっぽうです。AIが何を必要とするか分からないまま、範囲を決めることになります。狭すぎれば肝心なところが枠の外。広すぎれば、結局「どの部分か」を言葉で追いかけることになります。
そのあとが説明です。「大家さんからの敷金についてのメールで、強めに、でも失礼にならないように返したい」。いま画面に映っているものを、わざわざ文章に翻訳しているわけです。
本当にもったいないのは、数十秒ではありません。見れば分かるものを、いちいち言葉に置き換えている、その部分です。
関連記事: 画面のことなら何でも手伝ってくれるAI
説明するかわりに、指す
考え方はこれだけです。何を指しているかを説明するのではなく、そこを指す。隣に友だちが座っていたら、自然にそうするはずです。
VoiceOSでは、ControlとOptionを押したままにします。カーソルが十字に変わり、すぐ横に「指してVoiceOSに見せる」という小さな札が出ます。あとは聞きたいところにマウスを動かして、しゃべるだけ。
動かすと、青い線が蛍光ペンのように後ろをついてきます。クリックはしません。ドラッグもしません。話しながら、大事なところの上をマウスでなぞるだけです。
キーを離すと、あなたの印がついた画面が１枚、そのまま渡されます。だから「これ」が通じます。あいまいな言葉が、あいまいでなくなる。
彼のLinkedInを探して
関連記事: 「かこって検索」をパソコンで · Googleが「AIカーソル」を発表
実際に言うのは、このくらい短い
状況説明はいりません。状況は、もう画面に出ています。
“これ、どう返したらいい？”
メッセージをぐるっと囲むだけ。前後のやりとりも一緒に読みます。
“この文、きつく聞こえる？”
送る前の自分の下書きの上を、さっとなぞる。
“このエラー、普通の言葉で言うと何？”
どのアプリの警告でも同じように使えます。
“これ、どこで切れる？”
迷子になっている設定画面を指すだけ。
スクショの出番だった５つの場面
返しにくい連絡。同僚、大家さん、学校の保護者から来たメッセージ。その上をなぞって「どう返す？」と聞く。書いた下書きを指して「この言い方で大丈夫？」と聞くのもいい。
こわい封筒。請求書、保険の書類、役所からの通知。分からない段落をなぞって「これ、結局どういうこと？」と聞く。
見つからないボタン。手順書には「ここを押す」と書いてあるのに、その「ここ」がどこにもない。ページを指して「どこにある？」と聞く。
台所のテーブルでの宿題。グラフ、数式、教科書のページ。１ページ丸ごと撮るのではなく、つまずいた１行だけを指す。
タブ２つと、迷っている決断。候補を並べて開いて、両方をなぞって「どっちが得？」と聞く。
関連記事: パソコンに話しかけて仕事を進める
一日中、画面をのぞかれているわけではありません
最初に出てくる質問はこれで、聞くべきところもここです。
画面を見るのは、キーを押して質問しているあいだだけ。離せば終わります。裏で録り続けることはなく、一日の記録として残ることもありません。
しかも最初はオフの状態で届きます。設定の「画面について聞く」で自分でオンにしたとき、はじめてMacが画面収録の許可を尋ねてきます。そこを通すまで、何も起きません。
地味に好評なのが、カーソルの青い線は画面収録にも画面共有にも写らないところ。通話中に使っても、相手の画面には出てきません。
２分で試せます
スクショを撮ろうとしていたものを、そのまま開いてください。メールでも、書類でも、よく分からないページでも。
ControlとOptionを押したままにして、カーソルが十字になったら、気になるところにマウスを動かす。そして、いちばん普通の言い方で聞く。
離す。答えを読む。切り取りも、アップロードも、状況説明の一文も、全部飛ばせました。
よくある質問
画面について聞くのに、もうスクショはいらない？
はい。ControlとOptionを押しながら、聞きたいところにマウスを動かして話すだけです。VoiceOSがその瞬間の画面を、あなたの印つきで１枚受け取ります。切り取りも保存も貼り付けもいりません。
ChatGPTにスクショを送るのと、何が違う？
違いは２つ。送る前に範囲を決めなくていい点と、「これ」で通じる点です。スクショなら、どこを見せるか先に決めて、そのあと何を見ているか文章で説明することになります。指す方式なら、画面に印が残っているので、短いひと言で済みます。
きれいな丸を描かないとだめ？
いいえ。上を通ればそれで伝わります。ぐるっと囲む、文の下に線を引く、ボタンに点をひとつ置く。どれでも大丈夫です。絵のうまさは関係ありません。
どのアプリでも使える？
はい。特定のアプリの中で動く機能ではなく、画面の上にかぶせて使います。ブラウザ、メール、PDF、表計算、チャットアプリ、全画面表示のアプリでも同じです。アプリごとの連携設定もいりません。
画面はずっと録られている？
いいえ。キーを押して聞いているあいだだけです。常時録画はありません。さらに機能自体が最初オフで、設定の「画面について聞く」を自分でオンにして許可を通すまで、何もしません。
モニターが２枚あるときは？
マウスを動かした画面が対象になります。最大3画面まで印をつけられるので、片方のグラフともう片方の表を指して、まとめて質問することもできます。
Windowsでも使える？
VoiceOS自体はMacとWindowsの両方で動きます。指して聞くこの機能は、いまのところMacで作り込んでテストしている段階です。Windowsでは、まず音声入力とエージェント機能から試してみてください。