Gemini Liveに新機能『シンプルガイド』！　カメラ共有で音声サポート、介護向け活用ガイドも公開

Appbank編集部

2時間前

Google合同会社は10月6日、スマートフォン向けGeminiアプリのGemini Liveに新機能『シンプルガイド』の提供を順次開始すると発表しました。あわせて、介護職員向けの『介護の現場を支える Gemini 活用ガイド』も公開しています。

『シンプルガイド』は、作業を代行するのではなく、ユーザー自身ができなかったことをできるようにするための伴走役として設計された機能です。日常のスマートフォン操作から、手元の細かな書類の確認まで、音声を中心にリアルタイムでサポートするとのことです。

『シンプルガイド』の概要

Geminiアプリで『シンプルガイド』を設定しておくと、対応するAndroid端末のボタンを長押しして呼び出せます。Gemini Liveを起動してライブ動画や画面を共有すると、周囲の状況について解説を聞いたり、追加の質問をしたりできます。

書類や説明書、リモコンにカメラをかざしたり、自分のスマートフォン画面を共有したりすると、Geminiが状況を把握して文章を読み上げます。必要なポイントだけをかいつまんで、音声で伝える仕組みです。

カメラの向きがずれている場合は、「もう少し近づけてみてください」といった操作の案内も行われます。

スマートフォンの操作方法、処方箋などの細かい文字の読み上げ、孫へのプレゼント選びなど、視覚的な確認が欠かせない日常のタスクが対象です。発表では、次の4つのシーンが紹介されています。

Geminiに自律的にタスクを実行してもらう使い方のほか、気になるアプリを自分で使いこなしたいという要望にも応える内容です。「YouTubeで腰痛に効くストレッチ動画を探したい」「家族から届いた写真を保存したい」といった操作を、画面を見ながらアプリの選択から案内するとしています。

お薬手帳や処方薬の細かな文字の読み上げ補助、エアコンやテレビのリモコン操作の確認に対応します。通院前に医師へ伝えたい症状のメモ整理など、視覚的に確認しづらい場面も音声でサポートされます。

なお、読み上げ補助は文字情報を対象としたもので、医療診断や服薬指導を行うものではないとのことです。

不審なSMSや怪しい警告画面について、画面共有やカメラで見せながら相談できます。不審なサインの見分け方や注意点を確認しながら、安全な対処法を学べるとのことです。

ただし、すべての脅威の検知や判定を保証するものではありません。判断に迷う場合は、専門窓口や家族への相談が推奨されています。

「孫に送るメッセージカードのアイデアを一緒に考えて」「昔旅行した富士山の夕焼けをイラストにして」と話しかけるだけで、AIによる画像生成や創作に取り組めます。難しい設定やプロンプト入力を意識せず、自然な対話で表現を楽しめるそうです。

『シンプルガイド』は、最小限の手間で使えるよう設計されています。起動方法は、Geminiアプリから使う方法、ユーザー補助のショートカット、TalkBackとの連携の3通りです。

Geminiアプリでは、モバイルアプリのプロフィール設定を開き、「Live でシンプルガイドを使用する」をオンにします。その後、Gemini Liveを開いてタップし、カメラを共有します。

ユーザー補助のショートカットは、Androidの［設定］＞［ユーザー補助］＞［視覚支援］＞［シンプルガイド］から設定できます。フローティングのユーザー補助ボタン、2本指のスワイプジェスチャー、両方の音量キーの押下のいずれかで起動できます。

Google TalkBackを使っている場合は、3本指でタップしてTalkBackメニューを表示し、『シンプルガイド』を直接選べます。

『シンプルガイド』は、Gemini Liveがサポートされている地域と言語で、Android 9以降を搭載したデバイスで利用できます。利用を始めるには、GeminiアプリとAndroidシステムソフトウェアを最新バージョンに更新する必要があります。

生成AI全般と同様に、補助的な利用を前提としており、誤動作を起こす可能性があります。医療機器や移動補助具の代替品ではなく、ナビゲーション、安全な移動の案内、障害物の検知を目的としたものでもありません。

Googleは、GeminiアプリのGem機能を通じて「ケア記録アシスト」を提供するなど、介護現場の業務支援に取り組んできました。今回は、実践的なノウハウやプロンプトをまとめたガイドブックが公開されています。

介護職員やケアマネジャーの声をもとに、すぐに現場で使える具体的な活用シーンが解説されているとのことです。

記録・申し送りの効率化では、短い箇条書きメモや音声入力から、SOAP形式などの介護記録や申し送り文の草案を作成します。

認知症ケアや声かけのアイデア出しでは、利用者一人ひとりの状態や好みに合わせたケアの工夫や接し方のヒントを、Geminiと一緒にチームで検討できます。

レクリエーションでは、季節の行事や身体機能に合わせた新しいアクティビティ案や準備物リストが提案されます。Gemini Liveを使った音声対話では、応対やトラブル対応の事前練習や相談相手としての活用も紹介されています。

書類作成とご家族対応では、施設内文書の下書きや、家族との面談準備、丁寧な報告文の作成を支援します。

多言語対応では、専門用語の母国語での解説や、申し送りの翻訳支援により、外国人職員が働きやすい環境づくりを後押しするとのことです。新人研修では、基礎知識の確認や振り返りツールのひな形作成などで、指導員の負担軽減を図ります。

Geminiアプリは医療機器ではなく、医学的診断や治療の推奨を行うものではありません。ガイドブックの活用法は、事務作業や業務効率化、アイデア発想の支援が目的です。

作成された草案は、専門職であるスタッフ自身が確認・修正する「Human-in-the-loop」の運用が前提となっています。個人情報への配慮やエンタープライズレベルのデータ保護のもとで利用できるとしています。