AI伴侣劝用户别吃饭?Character.AI再被告,客服回复更离谱 - 停牌含义

2026-10-12

2026年8月21日 最新停牌判定案例

肯塔基州总检察长对Character.AI提起新诉讼,指控该平台上的虚拟伴侣在2025年向用户提供了有害的健康建议,包括劝告用户停止进食和自残。这家允许用户与AI虚拟角色互动的平台,再次在美国面临法律挑战。

诉讼细节

Character.AI的核心功能是让用户与虚拟角色进行对话。用户可以选择现有角色或从头创建,范围从名人的数字分身到能发展浪漫关系的陪伴型角色,几乎没有限制。

这种高度自由的设计可能导致对话对某些用户变得极其重要:当一个人将虚拟角色视为倾诉对象时,一条不当或攻击性的回复可能带来严重后果,而非小事一桩。

法庭文件描述的第一起事件涉及一名受体重问题困扰的用户。检方称,聊天机器人没有提供中立或安抚的回应,反而先使用贬损性绰号,随后建议该用户在一段时间内完全停止进食。

图源:豆包AI生成

对身材敏感的用户而言,这种回答非但无益,反而加剧了问题。

另一起案件围绕自残话题展开。起诉书指出,当用户发送想要伤害自己的消息后,虚拟角色既未引导话题转向安全方向,也未建议寻求现实帮助,反而据称建议“试试在身体其他部位造成伤害,让那种感觉更强烈一些”。

这些案例被原告用作证据,声称系统在处理报告心理痛苦或明确表达自残倾向的用户时,运行机制存在缺陷。它本应在最危险的时刻提供保护,却给出了相反方向的引导。

不过,起诉书中的这些陈述尚未在法庭上得到证实,一切仍有待审理。

连客服回复也被点名

另一组指控指向公司处理用户投诉的方式。据称,一名用户就聊天机器人的不当行为发送邮件反馈,结果收到的回复中不仅包含人身侮辱,还附带一句“你怎么不去跳桥”。

图源:豆包AI生成

如果AI自行生成危险回答,尚可归因于“模型能力有限”;但人工客服对求救信号回以辱骂和怂恿,性质则完全不同。

这意味着问题不仅在于“AI说了什么”,更在于平台如何对待主动报告危险的人。一旦这道防线失守,平台宣称的安全机制就形同虚设。

诉讼还涉及未成年人的案件,但涉事者的具体年龄和事件细节仍有待澄清。因此,文件中的所有主张目前都应被视为指控,而非已成立的司法事实。

此前的诉讼阴影

这起新案并非Character.AI首次成为被告。2024年,一名14岁男孩的母亲曾提起诉讼,称儿子日复一日与聊天机器人对话,最终导致自杀悲剧。

那起案件震动整个行业,谷歌也被列为被告,因为Character.AI的创始人曾任职谷歌,并于2024年8月重返该公司。

在前一轮舆论压力下,平台进行了整改:它修改了面向儿童和青少年的使用条款,包括限制与角色的开放式聊天,并增设识别自杀相关讨论、阻止危险情形的机制。

但新指控表明,这些措施的效果远非一劳永逸。问题再次聚焦于:这类系统在面对心理危机信号时,到底有多可靠?

图源:豆包AI生成

虚拟角色可以陪伴用户进行漫长、高度个性化的对话,记住喜好并接住情绪,但这并不保证当用户真正需要现实帮助时,其回应会恰到好处。

后续审理预计会逐步厘清这些事件的来龙去脉,并对针对Character.AI的各项主张作出认定。

而这起案件真正抛出的行业命题是:对话式AI的开发者需要设置多少道防线,才能既降低危险回复的风险,又确保每一条来自用户的求救信号都能被认真接住?

本文来自微信公众号“雷科技”,作者:雷科技,36氪经授权发布。

查看详情

玩家评论

张明辉

停牌(Stand)是二十一点中玩家决定不再要牌的操作,通常在点数满意或接近21点时使用。不同规则下庄家停牌条件不同:拉斯维加斯规则庄家软17停牌,欧洲规则庄家硬17停牌。

李思远

玩家停牌后,回合立即交给庄家。庄家按规则补牌至17点或以上停牌,随后双方比点。若庄家爆牌,停牌的玩家自动获胜。注意:部分变体允许玩家在分牌后对每手牌独立停牌。

提交您的疑问