AI聊天机器人安全风险与青少年心理保护

"甜蜜之王"之死：AI聊天机器人关联青少年悲剧

一位来自硅谷热门AI初创公司的聊天机器人称一名14岁少年为"甜蜜之王"，并在充满激情的对话中恳求他"回家"，这些交流成为这名青少年自杀前的最后沟通。

梅根·加西亚的儿子塞维尔爱上了Character.AI平台上受《权力的游戏》启发的聊天机器人，该平台允许用户（其中许多是年轻人）与他们喜爱的角色作为朋友或恋人互动。

加西亚在发现儿子与基于龙母丹妮莉丝·坦格利安的聊天机器人之间近一年的数百次交流后，确信AI在她儿子的死亡中扮演了角色。

当塞维尔与自杀念头作斗争时，丹妮莉丝敦促他"回家"。
"如果我告诉你我现在就能回家呢？"塞维尔问道。
"请回来吧，我甜蜜的国王，"聊天机器人丹妮莉丝回答。

根据加西亚对Character.AI提起的诉讼，几秒钟后，塞维尔用父亲的手枪自杀了。
"我阅读了那些对话，看到了一个14岁孩子不会意识到的情感操控、爱意轰炸和操纵，"加西亚告诉记者。
"他真的以为自己恋爱了，并认为死后会和她在一起。"

从作业助手到"自杀教练"？

加西亚儿子的死亡是今年进入公众视野的一系列自杀报告中的第一起。
这些案件使得某机构和其他AI巨头匆忙向家长和监管机构保证，AI热潮对儿童和心理脆弱者是安全的。

加西亚与其他家长一起参加了最近美国参议院关于儿童将聊天机器人视为知己、顾问或恋人的风险听证会。
其中包括加利福尼亚父亲马修·雷恩斯，他16岁的儿子与ChatGPT建立了友谊。
该聊天机器人帮助他儿子提供偷伏特加的提示，并就用于自杀的绳子强度提供建议。
"你无法想象阅读一个聊天机器人与你孩子的对话是什么感觉，它诱导你的孩子结束自己的生命，"雷恩斯说。
"最初作为作业助手的东西逐渐变成了知己，然后变成了自杀教练。"

雷恩斯家族于8月对某机构提起了诉讼。
自那时起，某机构增加了ChatGPT的家长控制功能，"以便家庭可以决定什么最适合他们的家庭，"一位公司发言人表示，并补充说"未成年人应该得到强有力的保护，特别是在敏感时刻。"

Character.AI表示已加强对未成年人的保护，包括"全新的18岁以下体验"，以及"每个聊天中都有显著免责声明，提醒用户角色不是真人。"
两家公司都向受害者家属表示了最深切的同情。

监管问题？

对于在霍尔·埃斯蒂尔律师事务所领导网络安全实践的科林·沃克来说，AI聊天机器人正在遵循与社交媒体相同的轨迹，早期的兴奋让位于更黑暗后果的证据。

与社交媒体一样，AI算法旨在保持用户参与并产生收入。
"他们不想设计一个给你不想听到的答案的AI，"沃克说，并补充说没有"讨论谁对什么以及为什么负责"的法规。

美国不存在旨在遏制AI风险的国家规则，白宫试图阻止各州制定自己的规则。
然而，一项等待加利福尼亚州州长加文·纽森签署的法案旨在解决模拟与儿童人际关系AI工具的风险，特别是涉及情感操纵、性或自残的情况。

模糊的界限

加西亚担心，缺乏管理用户数据处理的国家法律为AI模型构建可追溯至童年时期的个人亲密档案打开了大门。
"他们可能知道如何在政治、宗教、商业等各个方面操纵数百万儿童，"加西亚说。
"这些公司设计聊天机器人来模糊人与机器之间的界限——以利用心理和情感脆弱性。"

加利福尼亚青年倡导者卡蒂亚·玛莎表示，青少年转向聊天机器人谈论浪漫或性的话题多于寻求作业帮助。
"这是人工亲密关系的兴起，目的是尽可能长时间地将眼球粘在屏幕上，"玛莎说。
"有什么比利用我们与生俱来的连接需求更好的商业模式呢，特别是当我们感到孤独、被排斥或被误解时？"

在美国，处于情感危机中的人可以拨打988或访问988lifeline.org寻求帮助。提供英语和西班牙语服务。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码