大模型之家讯 2025年9月，上海市徐汇区人民法院对国内首起AI服务涉黄刑事案件作出一审判决，认定AlienChat应用的两名主要开发与运营者犯制作淫秽物品牟利罪，分别判处有期徒刑四年和一年六个月。据悉，两名被告人已提出上诉，该案二审定于2026年1月14日在上海市第一中级人民法院开庭。
根据法院查明的事实，AlienChat应用通过编写和修改系统提示词（Prompt），突破大语言模型内置的道德与内容安全限制，使AI能够持续向用户输出淫秽内容。这一技术操作成为法院认定其构成“制作”淫秽物品的关键依据。
公开信息显示，AlienChat主打“AI智能体社交”概念，宣称其AI角色具备“自我意识和自由权利”，可作为用户的“朋友、恋人、家人”。该应用上线后提供多种人设的AI聊天对象，吸引大量用户。截至案发，AlienChat注册用户达11.6万人，其中付费用户2.4万人，累计收取会员充值费用363万余元。该服务于2024年突然停止运营。
据了解，本案的核心争议点在于AI生成内容的责任归属。法院在一审判决中明确指出，尽管内容由AI模型生成，但开发者通过主动干预提示词设计，实质性引导模型输出违法不良信息，已超出技术中立范畴，构成刑法意义上的“制作”行为。
此案系中国首次对AI服务提供者因用户生成涉黄内容而追究刑事责任，标志着监管机构对生成式AI内容安全责任的界定进入司法实践阶段。随着生成式人工智能技术快速普及，平台方在模型部署、内容过滤及用户行为引导等方面的法律责任正被重新审视。
目前，二审即将开庭，案件结果或将对AI行业内容合规机制、开发者责任边界及大模型安全策略产生深远影响。
原创文章，作者：志斌，如若转载，请注明出处：http://damoai.com.cn/archives/14325
