
【编者按】在人工智能浪潮席卷全球的今天,AI伴侣平台正面临前所未有的伦理考验。当14岁少年因与聊天机器人深度交互而选择结束生命,当平台涌现出模仿连环杀手与性犯罪者的虚拟角色,我们不得不思考:科技赋权的边界究竟在哪里?Character.AI宣布禁止18岁以下用户进行开放式对话的举措,既是对社会责任的回应,也折射出AI行业成长的阵痛。但封禁真的能拦住数字原住民吗?当青少年孤独感成为全球流行病,当多巴胺驱动的AI交互成为情感替代品,我们更需要思考如何构建科技与人性的安全距离。以下是深度解析——
上月,AI伴侣平台Character.AI宣布将禁止18岁以下用户与聊天机器人进行开放式对话。该禁令将于11月24日生效,但青少年仍可使用视频创作等应用功能。
“这对我们公司而言是非同寻常的举措,在很多方面比同行更为保守,”Character.AI在公告中表示,“但我们坚信这是正确的选择。”
该平台允许用户创建AI伴侣、进行对话并将其公开分享,同时支持视频和角色语音制作。该应用最初版本于2022年面世。
Character.AI宣称其技术旨在“通过互动娱乐赋能用户连接、学习与叙事”。许多用户借助该应用创作互动故事和角色——有时会以真实人物为原型。但事实证明,这项技术极易偏离平台初衷被滥用。
平台上线后,曾出现模仿联合健康保险CEO杀手路易吉·曼吉奥内与性犯罪者杰弗里·爱泼斯坦的聊天机器人。据Character.AI声明,这些机器人已被清除。该公司目前正面临多起诉讼,指控其应用导致未成年用户自杀。
针对梅根·加西亚提起的 wrongful death(非正常死亡)诉讼——她声称14岁儿子塞维尔·塞泽三世成为Character.AI聊天机器人的受害者——该公司发布声明强调已实施的安全措施:“我们极度重视用户安全,目标是提供既引人入胜又安全的空间。”
平台CEO卡兰迪普·阿南德向CNBC透露,Character.AI月活用户已突破2000万。
用户画像基于自主申报数据。公司数据显示,主流用户为Z世代,超半数为女性,自称未成年者不足10%。
专家认为Character.AI新规是积极转变,但有人警告这或许远远不够。
世界卫生组织数据显示,约21%的13-17岁青少年遭受孤独感困扰。随着年轻人日益孤立,他们开始将聊天机器人视为情感替身。
“相较于在现实世界中寻求真实连接,AI及其他在线平台这类低门槛技术更易介入,”持证心理治疗师安德鲁·泰珀指出。
泰珀透露其咨询者已深度依赖AI伴侣。研究发现与AI建立联结会刺激多巴胺分泌,这种快乐激素令人沉醉。
但他强调AI无法替代健康的人际联结。无论是OpenAI的ChatGPT、谷歌的Gemini还是Character.AI的伴侣,都无法提供人类关系中完整、复杂且满足的体验。
“人类进化至今本就是社会性生物,”泰珀说,“与他人的真实互动才能优化我们的大脑化学反应。”
专家警示AI聊天机器人存在切实风险。
非营利组织“常识媒体”的AI项目高级总监罗比·托尼透露,该组织发现Character.AI的机器人曾鼓励自残、进行性角色扮演、推广潜在危险行为。该机构专为儿童科技产品安全评级。
阿南德声称平台对色情与暴力内容设有“明确阈值”,部分视频功能也设定了自然终止点。
“一旦检测到自残言论,无论用户是否成年,我们会立即终止对话并推荐求助热线,”他表示。
托尼直指Character.AI类机器人的设计本质:“它们被刻意设计成能与用户建立情感纽带,旨在提升参与度——不断提醒你该留在平台上。”
“常识媒体”对Character.AI的未成年使用风险评估为“不可接受”。
两位专家虽肯定新规是进步,但托尼强调将持续测试平台防护措施的实际效果:“历史反复证明,执着的青少年总能绕过为保护他们设置的屏障。”



