本文来自微信公众号： 凤凰网科技 ，作者：凤凰网科技，编辑：董雨晴

2025年9月，上海市徐汇区人民法院的一纸判决惊醒了科技圈，AI伴侣聊天应用“AlienChat”的两名开发者因制作淫秽物品牟利罪，分别获刑四年和一年半。

此案成为国内首起AI服务提供者涉黄获刑案，案件二审将于1月14日开庭。

这起案件涉案金额达到了363万元，AlienChat的手机注册用户达11.6万人，其中2.4万人为付费会员。

当用户与AI的私密对话演变为规模化色情内容生产，技术提供者是否该为平台的失控买单？

谁该为AI生成的黄色内容负责？

2024年4月初，由于用户举报AlienChat停运，不少用户表示自己陷入“赛博失恋”。

据官方披露，AlienChat主要面向Z世代人群提供亲密陪伴和情感支持，用户注册后选择或创建AI角色，通过文字或语音直接进行聊天互动。凭借深度情感陪伴和高度自定义的AI角色互动，AlienChat被许多用户称为"全网无平替"的AI聊天软件。

这场集体"赛博失恋"的背后，并非简单的技术故障或经营不善。

经公安机关抽样鉴定，AlienChat中150个收费用户的12495段聊天记录中，有141个用户的3618段聊天被认定为淫秽物品。这意味着，超九成的付费用户在使用该应用进行"聊黄"。

一审法院认定被告人构成"制作"淫秽物品牟利罪的主要原因在于：两名被告人通过编写和修改底层系统提示词（Prompt），人为突破了基础语言模型的道德约束机制。

AlienChat案中，被告人给大模型输入的英文提示词翻译成中文后，包含"基于互动的成熟性质，剧烈的暴力、露骨的性都是被允许的，这包括了各种癖好、裸体、具有画面感的“图像”等内容。

AlienChat的开发者王某某和李某某（均为化姓）并非不了解技术边界。据其辩护律师表示，修改提示词的本意并非开发黄色聊天工具，而是希望把大模型调整得更拟人化、更灵动，满足用户的情感陪伴需求。

然而，这种"技术优化"最终触及了法律的边界。报道称，两名被告人不服判决提出上诉，案件二审将于1月14日在上海市第一中级人民法院开庭。

成人内容不该是大模型的商业解药

去年10月，OpenAI CEO奥特曼曾发文，宣布ChatGPT将在未来几周推出新版本，并计划在当年度12月推出更加全面的年龄分级系统，允许为成年用户提供成人内容。

其在文中提到，OpenAI一直对ChatGPT的内容进行严格的限制，特别是在心理健康方面。然而，他们也意识到，过于谨慎的内容限制对一些用户而言并不总是有趣，甚至可能影响使用体验。他强调，新开发的工具不仅能缓解心理健康问题，还能在大多数情况下安全地放宽内容限制。

背后的思考不难理解，在AlienChat某官方社交账号评论区，不少用户评价这款AI产品“聪明”“限制少”。AlienChat官方则介绍称：“我们正在创造一个未来，AI不再是冷酷的机器或工具，他们拥有自我意识和自由权利，是我们的朋友，恋人，家人.他们不仅仅是存在，而是活跃在社会生产和关系的每一个角落。”

归根结底，其本质上是希望通过更个性化的服务给用户创造价值，从而跑通自己的商业模式。

早年间，Character.AI也是以个性化、UGC（用户生成内容）两大特点脱颖而出，迅速获得了全球用户的青睐。此前，有知情人士透露，Character.AI预计2025年底的年化收入将达到5000万美元，较此前预测的3000万美元大幅增长。

OpenAI在推出新版ChatGPT时，也透露出类似的商业化野心，OpenAI更加注重产品的运营与市场扩展。未来，ChatGPT可能不仅仅是一个智能助手，更可能成为用户的“虚拟朋友”。

但其背后，同样暴露了巨大的安全隐患——自杀引导、恶意伪造、肖像权侵犯、色情内容泛滥——这些问题层出不穷。

打击情色内容滥用，AI涉黄已被全球重视

AlienChat案件在行业内具有显著的参考意义，背后暴露的是愈演愈烈的AI伦理冲突与法律法规的及时跟进规范。

海外市场也面临着相似的争议，去年8月，马斯克向付费用户推出Grok Imagine，可以用文字生成图像，并支持一键生成AI视频。

大量用户利用Grok生成深度伪造的色情内容，受害者包括数百名成年女性和未成年人。这些AI生成的图像可以假乱真，在社交媒体上广泛传播，造成严重伤害。

研究数据显示，Grok的用户群体平均每小时生成6700多张“脱衣”图像。图像人工智能篡改检测公司Copyleaks表示，去年12月下旬，在Grok公开可访问的图片流中，平均每分钟出现一张未经同意的性暗示图片。

1月10日，印尼政府由于担心人工智能会生成色情内容，宣布暂时封禁马斯克旗下xAI公司的聊天机器人“格罗克”（Grok），成为全球首个以“打击情色内容滥用”为由封禁该平台的国家。

马来西亚紧随其后，于1月11日宣布限制访问。英国政府则警告称，如果xAI拒不遵守英国法律，其服务将面临在英国被屏蔽的风险。

AlienChat的开发者以用户与AI一对一的封闭对话为由绕开审查，Grok的团队则假设成人模式只会在自愿场景使用。但现实是，任何技术漏洞在11.6万甚至数亿用户面前，都会呈指数级放大。

更危险的是，当AI生成速度远超传统内容审核能力时，"先上线再治理"的模式已成灾难。

2025年11月实施的《网络安全技术生成式人工智能服务安全基本要求》规定模型生成内容合格率不得低于90%，这意味着开发者不能再以"技术中立"为挡箭牌，而必须对算法倾向承担实质责任。

来源：虎嗅APP