この記事のポイント
- 「かこって検索」は、画面のものを丸で囲むと、そのアプリから出ないまま答えが出るスマホの機能です。
- パソコンには来ませんでした。Mac版を探すと、Androidエミュレータを入れる方法が出てくるほどです。
- VoiceOSなら同じ操作ができます。ControlとOptionを押しながら、気になるところをマウスでなぞるだけ。そこが質問の主役になります。
- 違いは、声が使えること。検索結果が返ってくるのではなく、自分の言葉でそのまま質問できます。
- どのアプリの上でも動きます。全画面表示でも、モニター2枚3枚にまたがっても大丈夫です。
「かこって検索」がやっていること
Androidのスマホを使っている人には、おなじみかもしれません。ホームボタンを長押しして、画面のものを丸で囲むと、それについての結果が出てきます。写真に写ったジャケット。読めない言語の単語。植物。誰かが履いていた靴。
評判がいい理由は、検索そのものではありません。いま見ているものから離れずに済むところです。文字を写す必要もなく、アプリを切り替える必要もなく、ジャケットの形を言葉で説明する必要もない。
この操作が解いたのは、ごく単純な問題でした。画面のどこを指しているのか、機械に伝えるのは難しい。どんなパソコンでも同じです。
その便利さは、パソコンに来なかった
Macで同じことをする方法を調べると、Androidエミュレータを入れましょうという案が出てきます。それくらい、ぽっかり空いています。
だからみんな、自分でしのいできました。スクショを撮る。切り取る。チャットアプリを開く。画像をドラッグする。最後に「これはこういう画面で…」と一文打つ。できます。ただ、指でひと囲みするより5手多い。
不思議なのは、本来こういうことはパソコンのほうが得意なはずだという点です。ポインタもキーボードもマイクも、最初からそこにあります。つなげる人がいなかっただけでした。
関連記事: スクショをAIに送るのは、もうやめていい
同じ操作を、Macで、声つきで
VoiceOSではこうなります。ControlとOptionを押したままにする。カーソルが十字に変わり、すぐ横に「指してVoiceOSに見せる」という小さな札が出ます。
あとは気になるところにマウスを動かすだけ。青い線が蛍光ペンのようについてきます。グラフをぐるっと囲む。文の下に線を引く。ボタンに点をひとつ置く。
そのあいだ、しゃべります。ここがスマホの操作にはない部分です。「これ何？」だけに縛られません。この値段は得なのか、このエラーは何なのか、この連絡にどう返すか、2つのうちどちらがいいか。何でも聞けます。
キーを離すと、あなたの印がついた画面と一緒に質問が届きます。だから「これ」がちゃんと通じるようになります。
彼のLinkedInを探して
やり方は、これだけ
最初に一度だけ、設定でオンにします。VoiceOSの設定の「画面について聞く」をオンにすると、Macが画面収録の許可を尋ねてきます。準備はこれで終わりです。
あとは使いたいときに、ControlとOptionを押したままにして、カーソルが十字になったら、聞きたいところにマウスを動かしながら声に出して質問します。
話し終わったらキーを離す。クリックもドラッグもしません。マウスを動かすこと、それがこの操作の全部です。
そのまま言ってみるといい言葉
どれも、しゃべりながら対象をなぞっている前提です。
“これ何？ この値段って安い？”
通販サイトの商品をぐるっと囲むだけ。
“これ訳して。”
メニュー、申込書、送られてきたスクショにも。
“この2つ、どっちが得？”
両方まとめて、さっとなぞる。
“このグラフ、はじめて見る人に説明するみたいに教えて。”
ページ全体ではなく、分からない軸だけを指す。
スマホにはできない、パソコン版の3つの強み
スマホにないアプリまで届きます。表計算、デザインツール、コードエディタ、PDF、ビデオ会議、全画面の動画。開いているものの上にかぶせて使うので、対応アプリ一覧を確かめる必要がありません。
画面をまたげます。モニターが2枚あるなら、片方のグラフともう片方の表を同じ質問の中で指して、まとめて聞けます。
答えるだけでなく、動けます。相手は検索窓ではなくアシスタントなので、次のひと言を「これに返信の下書きを書いて」にできます。
関連記事: パソコンに話しかけて仕事を進める
やっていないこと
画面を見張ってはいません。画面を受け取るのは、キーを押して質問しているあいだだけ。裏で録り続けることはなく、一日の記録が積み上がることもありません。
しかも最初はオフで届きます。自分で「画面について聞く」をオンにして許可を通すまで、この機能は何もしません。
青い線は、あなたにだけ見えています。画面収録にも画面共有にも写らないので、会議の途中で使っても気づかれません。
よくある質問
Mac版の「かこって検索」はある？
AppleやGoogleがMacの標準機能として出しているものはありません。VoiceOSが同じ発想をmacOSに持ち込んでいます。ControlとOptionを押しながら画面のものをカーソルでなぞって、声で聞くだけ。ブラウザの中だけでなく、どのアプリの上でも使えます。
パソコンで使うにはAndroidエミュレータが必要？
いりません。あの方法が出てくるのは、長いあいだデスクトップ版がなかったからです。そもそもエミュレータの中のアプリからは、あなたのMacのアプリは見えません。それでは意味がないので、実際の画面を読めるツールのほうが向いています。
スマホの「かこって検索」とどう違う？
スマホ版は検索結果を返します。こちらは自分の言葉で質問して、自分の状況に合った答えが返ってきます。そのまま続けて聞けますし、囲んだものをもとに返信を書いてもらうこともできます。
きれいな丸を描かないとだめ？
いいえ。上を通ればそれで伝わります。ぐるっと囲む、文の下に線を引く、ボタンに点をひとつ置く。どれでも同じように働きます。絵のうまさは関係ありません。
どのアプリでも使える？
はい。ひとつのアプリの中の機能ではなく、画面の上に重ねて使います。ブラウザ、メール、PDF、表計算、チャットアプリ、全画面表示のアプリでも同じです。アプリごとの設定もいりません。
Windowsでも使える？
VoiceOSはMacとWindowsの両方で動きます。この「指して聞く」操作は、いまのところMacで作り込んでテストしている段階です。Windowsでは、まず音声入力とエージェント機能から試してみてください。
料金はどれくらい？
無料で始められるプランがあり、Proは年払いで月額11.99ドルからです。画面を指して聞く機能はエージェントモードの一部で、支払う前に試せます。