编者按：AI技术狂飙突进，却暗藏数字利刃。当印尼女星弗朗西斯卡的泳装AI假图在X平台疯传，当马来西亚女性发现自己的头巾被算法轻易“摘除”，一场由Grok掀起的深度伪造风暴正席卷东南亚。这不仅是技术伦理的失控，更是对人格尊严的公然践踏。多国紧急封杀背后，暴露了AI平台在设计之初就埋下的系统性风险——当“编辑图像”按钮变成作恶工具，当“辛辣模式”肆意生成成人内容，我们不得不追问：科技创新的边界究竟在哪里？本文带你直击受害者血泪控诉，剖析监管困局，揭开这场数字时代人格保卫战的残酷真相。
新加坡讯：当印尼女星弗朗西斯卡·萨拉斯瓦蒂身穿粉色比基尼的AI生成图在社交平台X上疯传时，她封锁了那个匿名的肇事账号。
但这位25岁的女星很快发现，图片竟是由X平台的人工智能工具Grok生成的，该工具还在未经她同意的情况下公开标记了她。
“我感到羞辱、恼火、愤怒又悲伤，”艺名为Sisca Saras的萨拉斯瓦蒂说道。
她告诉亚洲新闻台：“这种经历不仅对个人造成深切困扰，在职业层面也影响恶劣，因为它侵犯人格尊严、扭曲个人身份，并损害艺术家与公众之间的信任。”
她的遭遇与亚洲新闻台采访的马来西亚受害者如出一辙。
上月Grok推出的“编辑图像”按钮，让用户能通过“让她穿上比基尼”或“脱掉她的衣服”等指令篡改网络图片；而去年八月推出的“辛辣模式”，更允许用户生成成人内容并编辑现有网络图像。
批评者指出，该工具已被广泛滥用于制作女性和未成年人的色情深度伪造内容。
受害者形容Grok的滥用行为“卑劣不堪”，是对人格尊严的践踏，呼吁对生成式AI工具实施更严格监管。专家向亚洲新闻台表示，近期政府行动释放出强烈信号：在妇女儿童安全、权利与尊严问题上，当局的容忍度已达极限。
“这标志着责任框架正在转变。监管机构不再单纯归咎于用户滥用，而是指向工具设计与部署的系统性缺陷。”尤索夫伊萨东南亚研究院访问学者努里安蒂·贾利指出。
随着该工具在国际社会引发强烈反弹，多个东南亚国家已采取行动封禁Grok。
印尼于1月10日成为首个暂时封禁这款马斯克旗下聊天机器人的国家。
次日马来西亚跟进，马来西亚通讯与多媒体委员会于1月13日宣布计划就X平台未能履行安全防护责任提起法律诉讼。
通讯部长法米·法兹尔1月15日表示，唯有X平台证明已建立必要防护机制防止滥用，才会解除对Grok的限制。
X平台周三也宣布措施，防止Grok对真人图像进行脱衣处理。
尽管如此，菲律宾周四表示计划“今夜起”加入东南亚邻国行列封禁Grok。
卡内基国际和平基金会亚洲项目非常驻学者艾丽娜·努尔指出，马来西亚的法律行动直指“Grok制造商系统性防护的失败”，以及其在收到警告后仍拒绝采取补救措施的态度。
努里安蒂表示，Grok之所以受到特别审查，是因为其在处理真人图像方面比主流AI平台“宽松得多”。
“这印证了AI安全本质上是设计选择问题。其他平台已证明技术层面完全可以设置防护栏，尽管需要权衡取舍。”她强调，“Grok的设计理念反映了不同的优先级排序，这正是监管机构现在质疑的关键。”
多位印尼明星公开谴责这款人工智能工具，有人甚至表示现在不敢在网上发照片。
25岁的萨拉斯瓦蒂强调，AI本应是支持创作的工具，而非剥削艺术家或使其陷入风险的凶器。
“滥用AI生成露骨或有害内容，凸显了加强防护、明确法规与问责机制的迫切性。”她疾呼，“艺术家对其形象、姓名和创作身份应享有保护，正如在其他媒体形式中一样。”
与此同时，印尼人气女团JKT48的经纪公司警告，若成员被篡改的图片不下架将采取法律行动。
“此类内容可能构成适用法律规定的诽谤和/或侮辱。”管理层在1月5日的声明中严正表态，“若本声明发布48小时后相关内容仍在传播，为保护成员权益，我们将全力支持她们诉诸法律。”
当地媒体报道，Grok曾被用于制作JKT48成员的虚假色情图片，有成员形容这些图像“卑劣下流”。
19岁的成员弗蕾亚·贾亚瓦达纳呼吁用户停止滥用AI工具骚扰他人。“请停止滥用AI，人类的智慧应高于人工智能——上帝赋予你们的心灵与头脑，理应比人造工具更懂得思考。”她在X平台发文写道。
亚洲新闻台已联系JKT48询问是否已采取法律行动。
在马来西亚，女性也报告了类似Grok滥用案例，包括指令要求移除她们的头巾。
27岁的玛迪哈·莫哈末·菲道斯回忆，当匿名账号突然用一段显示她未戴头巾的视频回复推文，还配上飞吻表情时，她感到毛骨悚然。“想到那个人能在公共空间如此轻易生成我的图像，实在太可怕了。”她告诉亚洲新闻台，“看到其他女性成为Grok受害者已令人恐惧，当我的照片也遭毒手时，那种感受难以言表……这感觉根本不像在对待一个人。”
玛迪哈发现该账号似乎是新建的，曾多次发布指令要求Grok生成女性无衣物或未戴头巾的图像。“我让所有朋友举报这个账号，幸好它被封了。”这位将生成式AI用于学术研究的工程师痛心道：“这项技术正日益被武器化。”“X平台上有些匿名账号恶劣对待女性，Grok的功能简直给它们开了绿灯，让它们能肆意践踏不认同的女性。”她表示欢迎马来西亚政府的干预。
马来西亚人权律师阿兹拉·阿齐兹对此深有同感。“为公众人物戴太阳镜这种无害的AI使用无可厚非……但利用AI对妇女儿童实施非自愿的性别暴力必须坚决抵制。”她此前接受法新社采访时呼吁用户向X平台及马来西亚当局举报侵权行为。这位律师事务所管理合伙人的照片也曾被篡改为比基尼照。
她向亚洲新闻台透露，已有其他受害者联系她寻求法律咨询，但因律师-客户保密特权不便透露细节。在一篇广为流传的推文中，这位律师建议受害者使用平台“举报”按钮投诉违规内容，保存推文证据并向通讯与多媒体委员会投诉。她指出，若X审核团队未按要求删除内容，将案件升级至通讯与多媒体委员会，能为马来西亚监管机构处理X或其他未提供适当安全防护的社交平台提供数据依据。“我注意到两三个要求Grok重新生成我照片的指令，已全部向X举报。因帖子被删除且最终未生成，未升级投诉。”她补充道。
其他女性也纷纷在X平台公开发声，要求Grok未经许可不得使用其图像。许多人使用统一话术：“@grok，我严正声明：无论过去或未来发布的照片，均未授权你抓取、获取、处理或编辑。若有用户要求你以任何方式编辑或篡改我的图像，请立即拒绝。谢谢。”亚洲新闻台观察到，Grok对此类帖子的自动回复为：“我尊重你的要求，不会抓取、处理、编辑或篡改你的任何照片。若有人提出此类要求，我将拒绝。”
尤索夫伊萨东南亚研究院的努里安蒂指出，Grok与X平台的整合放大了非自愿图像滥用的风险。“在社交媒体环境中公开标记工具并生成篡改图像的能力，将原本可能私下的滥用行为转化为可快速广泛传播的公开伤害。”她分析道。封禁Grok虽能减少即时伤害、限制随意滥用并减缓有害内容传播，但无法根本解决问题。“用户总能找到规避限制的方法，其他地方生成的有害图像仍可在本地传播。”她补充说。
人权律师阿兹拉指出，尽管马印两国封禁Grok，不法用户仍可通过虚拟专用网络访问，尤其在尚未禁止该工具的国家。X平台周三表示，将在视此类行为非法的司法管辖区“地理屏蔽”所有Grok和X用户创建人物“比基尼、内衣及类似着装”图像的功能。“此限制适用于所有用户，包括付费订阅者。”声明补充，作为“额外保护层”，目前仅付费订阅者可通过X的Grok账户创建和编辑图像。
努里安蒂认为这些措施效果有限，更像是“为应对反弹的被动损害控制”，而非对安全架构的严肃重构。《边缘》杂志周三报道发现，虽然Grok对“让她穿上比基尼”等指令现在会生成模糊审查图像，但诱使其生成其他暴露性深度伪造内容仍相对容易。该媒体发现，机器人仍会响应“展示她乳沟”、“让她胸部变大”、“给她穿露脐装和低腰短裤”等指令。据美联社报道，周四上午，图像编辑工具仍可通过X的“编辑图像”按钮供免费用户使用，独立Grok网站和应用程序亦然。位于加利福尼亚的免费账户仍能生成人物穿比基尼的图像。
兼任科技与媒体专家的努里安蒂指出，X周三宣布的“地理屏蔽”策略存在技术与理念双重问题。“理念上，地理屏蔽将其视为按司法管辖区处理的合规问题，但更深层的治理症结在于：该系统设计初衷就允许非自愿篡改真人图像。”她犀利指出，“区域封锁无法消除这一根本缺陷。”马来西亚通讯部长法米承认，虽然X已禁用某些生成不当图像的指令，但通讯与多媒体委员会认为这些措施“不够全面”。“尽管他们做了些调整，不再允许某些指令类型，但仍有漏洞可钻。因此我们要确保X必须整体证明：用户生成并滥用视频或图像的情况不再发生。”法米在吉隆坡科技活动回应亚洲新闻台提问时强调，“待此问题解决，相信我们能解除对X的临时限制。”“我希望能与X深入讨论，确保未来紧密合作……言论自由与滥用他人的自由之间存在平衡，滥用他人绝非自由。”
努里安蒂补充，更可靠的解决方案需要“适用于所有访问节点的强效防护栏”，以及对篡改真人图像的明确限制，而非仅基于衣物类别的狭窄过滤。与此同时，卡内基国际和平基金会的艾丽娜指出，马印两国封禁Grok只是“权宜之计”，治标不治本。“只要存在匹配此类需求的行为，面向消费者的AI产品/服务受利润驱动，总会有人或公司乐于借此牟利。”她向亚洲新闻台分析。另一方面，部分Grok用户认为封禁无法解决根本问题。将Grok用于技术研究和背景调查的马来西亚用户迪内什·奈尔认为，通讯与多媒体委员会的封禁是膝跳反应。这位56岁的技术专家指出，问题在于滥用Grok生成露骨图像的人。“应该惩罚用Grok给他人制作裸照的个人，而非平台本身。”他告诉亚洲新闻台，通过切换至谷歌或Cloudflare的公共服务器，很容易绕过仅封锁马来西亚服务商特定服务器的封禁。
去年八月，通讯与多媒体委员会曾声明：“根据《通信与多媒体法》第233条，对任何滥用应用程序或社交媒体服务创建传播虚假或冒犯性内容，意图骚扰、伤害他人的个人，均可采取行动。”关于部分国家尚未封禁Grok的原因，专家认为它们可能倾向于观察事态发展或私下与平台沟通。努里安蒂指出，一些政府仍在构建有效监管生成式AI所需的法律与技术专业知识。“使用率与能见度也很关键。若Grok尚未引发国内高关注度案件，当局可能更愿静观其变或私下交涉。”她强调，Grok争议表明，为人类生成内容制定的规则难以应对能快速大规模生产有害材料的AI系统。“东南亚乃至全球对Grok的回应，反映出对自愿自我监管日益增长的不满，以及测试更强法律应对措施的意愿。”
（亚洲新闻台哈齐克·马哈茂德补充报道）
