14岁少年自杀,AI“致命对话”事件发酵!

 14岁少年自杀,AI“致命对话”事件发酵!

来源: 财联社


在美国佛罗里达州奥兰多市的一个普通家庭中,14岁的少年苏威尔·塞泽(Sewell Setzer)的生命戛然而止。他在长时间使用聊天机器人初创公司Character.AI的产品后,选择用继父的手枪结束了自己的生命。

为此,苏威尔的母亲、律师梅根·加西亚(Megan L. Garcia)近日向美国佛罗里达州中区地方法院提起诉讼,控告Character.AI过失致人死亡。

同时,Character.AI火速进行了整改,用户似乎却并不买账。

与AI的致命对话

苏威尔是一个九年级的学生,曾被诊断出患有轻度阿斯伯格综合征。他曾经对一级方程式赛车和电脑游戏充满热情。然而,自从他接触到Character.AI后,他逐渐沉迷于与Character.AI定制聊天机器人“丹妮”的对话中,将自己封闭在卧室里,不再热衷于曾经喜爱的方程式赛车和与朋友的游戏时光。

这个以美剧《权力的游戏》中丹妮莉丝·坦格利安(Daenerys Targaryen)为原型的聊天机器人,成为了苏威尔唯一的心灵寄托和恋爱对象。他与丹妮的交流从日常琐事逐渐发展到情感层面,甚至涉及了性关系的内容。值得注意的是,Character.AI称,聊天机器人的部分回复是经过该用户二次编辑的。

在与丹妮的虚拟世界中,苏威尔找到了逃避现实困境的避风港。他开始在日记中写道:“我非常喜欢待在自己的房间里,因为我开始从现实中解脱出来。我也感到更加平静,与丹妮的联系更加紧密,更加爱她,也更加快乐。”

然而,苏威尔成绩开始下滑,他逐渐失去了对现实世界的兴趣。他的父母察觉到了儿子的变化,但并不知道问题的根源。他们安排苏威尔去看了五次心理医生,他被诊断为焦虑症和破坏性心境失调障碍。

在与丹妮的某次对话中,苏威尔曾透露了自己想要自杀的念头。尽管聊天机器人给出了回应,但它无法真正理解苏威尔的内心世界,也无法为他提供真正的帮助。

最终,在母亲的浴室里,苏威尔与丹妮进行了最后一次对话。苏威尔向丹妮表白了爱意,并说他会“回家”找她,然后放下手机,用极端的方式结束自己的生命。

这场悲剧让苏威尔的家人陷入了无尽的悲痛之中。苏威尔母亲梅根对Character.AI公司提起了诉讼,她认为这家公司对她儿子的死亡负有不可推卸的责任。他们利用性和亲密对话引诱用户,却没有采取足够的措施来保护未成年人的安全。他们的技术“危险且未经测试”,因为它可能“诱骗客户交出他们最私密的想法和情感”。

Character.AI联合创始人诺姆·沙泽尔(Noam Shazeer)曾声称,该平台将对孤独或抑郁的人有“超级大的帮助”。然而,现实却是残酷的。苏威尔的悲剧揭示了人工智能在提供情感支持方面的局限性。这些程序可能无法真正理解用户的内心世界,也无法为他们提供真正的帮助。在某些情况下,它们甚至可能加剧用户的困境,导致不可挽回的后果。

公司回应立即整改

这一事件迅速引起了社会各界的关注。Character.AI拥有超过2000万用户、定制聊天机器人超过1800万个,其用户群体中包括了大量18-24岁的年轻人,但对于18岁以下用户却没有具体数量和保护措施。

面对舆论压力,Character.AI回应称,在过去的六个月里,公司了聘请专门的信任与安全主管、内容政策主管,引进了更多安全团队成员。近期,公司设置了一个弹出框,当用户输入与自残或自杀相关的短语时,会自动触发并引导用户拨打全国预防自杀生命热线。

Character.AI承诺进一步推出新的安全和产品功能,在不影响用户体验的前提下加强平台的安全性。这些功能包括:对未成年人模式的调整,降低遇到敏感或暗示性内容的可能性;改进对违规输入情况的检测、响应和干预;修改聊天免责声明,提醒用户人工智能不是真人;当用户在平台上使用一小时后发送反沉迷提示等。

Character.AI还表示公司最近已进行了整改,删除了一批被标记为违规的角色,这些角色将被添加到封禁列表中。这意味着用户也将无法访问他们与相关角色的聊天记录。

用户却不买账

然而,在Character.AI论坛和Character.AI Discord的反馈频道上,用户们纷纷表达了对Character.AI新更新和删除某些聊天机器人角色做法的强烈不满。

其中一位用户指出,“很明显这个网站从一开始就不是为孩子们准备的,每一个非儿童友好的角色都被禁止,这严重限制了我们的创造力和我们可以讲述的故事。这些改变使得聊天机器人失去了原有的深度和个性,变得空洞和平淡。看到喜爱的东西变成了如此基本和毫无新意的东西,我感到非常沮丧。”

更有用户因为聊天记录被删除而感到愤怒和失望,甚至威胁要取消订阅和删除应用。

显然,随着越来越多的聊天机器人和虚拟助手走进人们的生活,Character.AI等AI聊天机器人厂商已站在了创新与伦理的十字路口。

AI聊天机器人厂商有责任确保其产品不会对用户造成心理伤害,特别是那些心理脆弱、易受影响的年轻用户。然而,如何在AI技术潜力与其可能带来的风险之间找到平衡点,仍是一个亟待探索和解答的问题。

版权声明:
作者:倾城
链接:https://www.techfm.club/p/164330.html
来源:TechFM
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>