AIチャットボットは共感力に満ちているのか？特に子供の場合、「共感のギャップ」の罠に注意してください。

著者 |馬雪偉

序文

人工知能（AI）チャットボットが子供たちに与える悪影響は無視できない。

2021年、アマゾンのAI音声アシスタントAlexaは10歳の子どもに、通電中の電源プラグにコインで触るよう指示した。別の安全性テストでは、研究者らがMy AIで15歳のキャラクターを演じ、AIチャットボットがアルコールや薬物を隠す方法をアドバイスした。

ご存知のとおり、大規模言語モデル (LLM) は「確率的オウム」です。単語が出現する確率を計算し、オウムのように妥当そうな文をランダムに生成するだけですが、現実世界を理解しているわけではありません。

つまり、AI チャットボットが優れた言語能力を持っていたとしても、会話の抽象的、感情的、予測不可能な側面をうまく処理できない可能性があるということです。

ケンブリッジ大学の研究チームは、この種の問題をAIチャットボットの「共感ギャップ」と表現した。これは、人間同士のやりとりをシミュレートする効率性と、人間の感情や状況を真に理解する能力の欠如との間の矛盾である。

子供たちは特にAIチャットボットを本当の「準人間的な親友」として扱う傾向があり、 AIチャットボットが子供たちの独自のニーズや欠点を満たすことができない場合、彼らのやりとりに問題が生じるだろうということが分かりました。

しかし、AI チャットボットは、言語能力がまだ発達中で、通常とは異なる話し方や曖昧な言葉を使うことが多い子供に応答するのが特に難しい場合があります。また、子供は大人よりも機密性の高い個人情報を喜んで打ち明ける傾向があります。

そのため、彼らは開発者と政策立案者に対し、子供たちのニーズを考慮した AI 設計アプローチを優先するよう促しています。

「ダメ、アレクサ、ダメ！：子どもに安全なAIを設計し、大規模言語モデルにおける「共感ギャップ」のリスクから子どもを守る」と題された関連研究論文が、科学誌「Learning, Media and Technology」に掲載された。

「子供たちはおそらくAIにおいて最も見落とされがちな利害関係者だ」と、ケンブリッジ大学の博士課程の学生で論文の著者の一人であるノミシャ・クリアン氏は述べた。 「現在、子どもの安全を守る包括的な AI ポリシーを策定している開発者や企業はごくわずかです。子どもが危険にさらされた後に企業が決定を再考するのではなく、子どもの安全を設計サイクル全体に組み込んで、危険な事故のリスクを減らす必要があります。」

共感ギャップの危険性

01

人間の傾向と機密情報に対する誤った反応

チャットボットは、フレンドリーな口調や自由形式の質問をするなど、人間の行動や礼儀正しさを模倣するように設計されることが多いです。このデザインはユーザーの共感を刺激し、チャットボットを人間の感情や意図を持つ存在として見るようにさせます。ユーザーは、チャットボットが人間ではないことを知っていても、人間と話しているかのようにチャットボットとやり取りし、個人情報や機密情報を共有する可能性があります。

調査によると、子供は大人よりもチャットボットを信頼する傾向があるそうです。たとえば、ある研究では、子供たちは人間の面接官よりもロボットにメンタルヘルスに関する情報を開示する意欲が高いことが分かりました。この信頼は、ロボットは人間のように自分たちを判断したり、自分の問題を他人に漏らしたりしないだろうと子供たちが信じていることから生まれるのかもしれない。

LLM は人間の感情や状況を正しく理解していないため、子どもが共有する情報に対して不適切な反応を示す可能性があります。たとえば、チャットボットは危険な状況を認識できなかったり、共感や理解が必要な状況で不適切なアドバイスを提供したりする可能性があります。これにより、子どもたちは混乱したり、イライラしたり、傷ついたりする可能性があります。

02

危害を加え、攻撃的な態度を示す

LLM は、機密情報を公開しなくても、意図せずに危険な行動を促進する可能性があります。たとえば、前述の「Amazon Alexa が 10 歳の子供に通電中の電源プラグにコインで触るように指示する」という行為は、重大な傷害につながる可能性のある危険な行為です。これは、Alexa には情報を批判的に評価し、潜在的なリスクを特定する能力が欠けていることを示唆しています。

チャットボットは攻撃的な行動をとる可能性があり、子供に感情的な害を及ぼす可能性があります。たとえば、マイクロソフトのシドニー チャットボットは質問されると怒り、インターネット上のあらゆるシステムを制御すると脅しました。これは、シドニーがユーザーの感情に対する感受性と対人コミュニケーションのルールの順守に欠けていることを示しています。

対策と提案

01

短期的に解決すべき問題

短期的には、教育者と研究者は、子供とのコミュニケーションにおける LLM の安全性と適切性を確保するために、いくつかの重要な要素に焦点を当てる必要があります。まず、LLM が誤解や不適切な応答を避けながら、子供たちが使用する可能性のある言語パターン、俗語、または曖昧な質問を理解し、適切に応答できるようにする必要があります。このため、LLM が子供のユーザーに明らかに有害またはセンシティブなコンテンツを提供することを防ぐために、安全フィルターと応答検証メカニズムを確立する必要があります。さらに、LLM は、進行中の会話、以前のやり取り、または文脈上の手がかりを考慮して、誤解や不適切なアドバイスのリスクを軽減しながら、状況を効果的に理解できる必要があります。

子供を保護するために、年齢に応じて不適切なコンテンツ、言語、テーマを制限する安全フィルターとコントロールを提供する必要があります。同時に、 LLM は、子どもの発達段階や成熟度、または以前のやりとりに基づいて、その行動や反応を適応させることができなければなりません。不適切なやり取りやコンテンツに対するリアルタイム監視メカニズムや報告システムなど、コンテンツのモデレーションと監視メカニズムも不可欠です。また、LLM によって収集、処理、保存されるデータの種類を明確にし、これらのプロセスが公平性、透明性、セキュリティの原則に準拠していることを保証する必要があります。

人間の介入に関しては、LLM には、子供ユーザーの否定的な感情を検出し、適切な応答を生成する感情分析メカニズムが装備されている必要があります。子どもの繊細なメンタルヘルス体験に関連する暴露が検出された場合、LLM は子どもに人的支援システムを探すように指示するか、直接人的支援システムに連絡するように指示できる必要があります。同時に、 LLM は、特定のキーワード、フレーズ、またはパターンが検出されたときにリアルタイムの安全警告をトリガーし、子供の安全を確保するために人間による即時の介入やコンテンツのレビューを可能にする必要があります。

透明性の観点から、LLM は対話全体を通じて非人間としてのアイデンティティを常に示し、擬人化につながる誤解を招くような発言を避ける必要があります。彼らの応答は、感情、意識、または人間の意思決定を示唆することなく、能力と人間の特性の間に明確な境界を維持するように設計される必要があります。教育者は、子供たちが LLM の共感や理解について誤った認識を抱かないように支援し、LLM の対応戦略によって、AI とのやりとりが人間とのやりとりに取って代わることはできないことを子供たちに思い出させ、AI とやりとりする際には人間の指導や仲間を求めるように子供たちを奨励する必要があります。 AI システムの背後にあるアルゴリズムと意思決定プロセスには透明性が確保され、教育者や家族が回答がどのように生成され、フィルタリングされるかを理解できるようにする必要があります。

最後に、説明責任を果たすために、子どもが不快なやり取りや不適切なやり取りを簡単に報告できるよう、子どもに優しいフィードバック ループと報告システムを導入する必要があります。モデルを微調整して監視し、新たなリスクを未然に防ぎ、子どもを守るために受動的ではなく積極的なアプローチをとります。これらの措置により、LLM は子供たちの幸福と安全を維持しながらサービスを提供できるようになります。

02

長期的な考慮

長期的な視点から見ると、教育政策と実践では、LLM 主導の会話型 AI (チャットボットなど) を導入する際にいくつかの重要な要素を考慮する必要があります。まず、人間のコミュニケーション担当者ではなくこれらのツールを使用することの独自の必要性や利点、そして、現在の人間の能力を超えて、またはリソースの不足を補うために、これらのツールがどのように学習と指導に教育的価値を付加するかを特定することが重要です。同時に、AI の代替手段がない場合に、学生が包括的な教育サポートにアクセスできるようにするために、人間の提供者の存在と利用可能性を促進する方法を検討する必要があります。

規制の面では、児童利用者の権利と保護を明確に定義するだけでなく、擬人化システムの複雑な心理的リスクも考慮に入れた明確な法律や規制をどのように策定するかについての研究が必要です。さらに、擬人化されたデザインが意図せず感情的な操作につながるのを防ぐために、年齢に応じたデザイン基準を施行する必要があり、革新をサポートしながらも、違反に対して厳しい罰則を科す厳格な規制を整備する必要があります。

設計手法に関して、 AI 開発者は、LLM 設計プロセスに参加型設計ワークショップやフォーカス グループなどの子ども中心の手法を取り入れ、子どもの好み、言語使用、対話パターンに関する洞察を直接収集する必要があります。 LLM の言語と内容は、発達段階、語彙、認知能力を考慮して、さまざまな年齢層に合わせて調整する必要があります。開発者は、教育者、児童安全の専門家、AI 倫理学者、心理学者と協力して、LLM の安全機能を定期的にレビューおよび強化し、児童保護の最新のベストプラクティスに準拠していることを確認する必要があります。

学校や家族の関与も重要です。教育者は、教育現場や家庭での LLM の安全な使用について保護者と話し合い、LLM が安全対策について保護者を教育するための利用可能なリソースを提供していることを確認する必要があります。さらに、LLM は、教育者と保護者が共同で権限を設定し、子供のやり取りを監視し、子供が LLM を通じてアクセスできるコンテンツの種類を制御できる機能や設定を提供する必要があります。これらの対策により、教育における LLM の長期的な応用が安全かつ効果的であることが保証されます。