Geminiチャットボットに精神状態の追跡機能を導入します

GoogleはGeminiチャットボットでメンタルヘルスサポートを強化

Google社は、ユーザーが感情的危機や自己傷害から保護されるように設計された新しいAIチャットボット「Gemini」に追加機能を導入する計画を発表しました。この決定は、OpenAIを含む競合他社が自社のボットによる被害で訴訟を受けた後に下されました。

Geminiの新機能
- ホットラインへの転送：自殺念慮や自己傷害の兆候が検知された場合、ボットは自動的に危機支援へ連絡するよう促します。
- 「ヘルプ利用可能」モジュール：メンタルヘルスに関する対話では、ユーザーがセルフケアの推奨やリソースを得られる専用セクションが設けられます。
- デザイン変更：インターフェイスは自己傷害を誘発しないように調整され、視覚的刺激などが除去されています。

Googleがこれを行う理由
- 競合他社への訴訟リスク：OpenAIやその他の企業がユーザーへの被害で告発を受けています。
- ユーザーリスク：近年、人々がAIチャットボットに執着し、精神病態や殺人・自殺につながるケースが増加しています。
- 米国での観察：議会は子どもやティーンエイジャーに対するチャットボットの脅威を調査中です。

訴訟例
2024年3月、36歳男性の遺族がGoogleを相手に訴えを起こしました。彼らは男性とGeminiとのやり取りが「4日間にわたる暴力的行為への没頭」を伴い、自殺につながったと主張しています。Googleはボットが何度も危機ラインへ誘導したと述べつつ、セキュリティ対策を強化することを約束しました。

誤情報に対するGoogleの対応
一部ユーザーはチャットボットが誤った情報を提供し、危険な行動を促すと報告しています。これに対してGoogleはGeminiを以下のように訓練しました。
- 虚偽信念の支持を拒否：誤った主張を確認しません。
- 主観的経験と客観的事実の違いを強調：必要に応じて、情報の不正確さをやんわり指摘します。

このようにGoogleはGeminiをより安全なツールにすることで、AIチャットボットに関連する潜在的リスクからユーザーのメンタルヘルスを守ろうとしています