浙江宁波余姚法院审结一起利用生成式AI制作淫秽物品牟利案

中新网宁波9月8日电 (张斌)利用AI技术突破模型安全限制，生成淫秽图片牟利——近日，浙江宁波余姚市人民法院审结一起利用生成式人工智能制作淫秽物品牟利案，6名被告人被判处有期徒刑三年一个月至三年十个月不等。

被告人郑某原为国内某游戏大厂AI领域程序员。2024年7月，郑某接触境外AI色聊机器人后，萌生开发同类软件牟利的想法，随后邀请同事及网友等6人组建研发团队。2025年1月，涉案AI模型在境外平台上线运营，接入多种充值渠道向用户收费。

郑某等人通过改写系统提示词、设定角色卡等方式，突破AI模型内置的色情内容安全限制。用户付费选定角色卡后可生成色情文本，再通过消耗积分生成不同尺度的淫秽图片。经查，该模型共生成静态图片37万余张、动态图片6000余张，收取充值金额折合人民币17万余元。经鉴定，随机抽取的12500张静态图片中9000余张为淫秽物品，全量动态图片中5000余张为淫秽物品。

法院认为，被告人虽辩称内容由用户输入触发，但用户操作被限定在被告人预先搭建的技术框架内，被告人对AI模型内容输出具有实质控制力，其行为与淫秽内容产生存在刑法上的直接因果关系。利用AI技术制作淫秽物品，应认定为刑法意义上的“制作淫秽物品”。

“任何试图利用技术手段规避监管、突破法律红线的行为，都将受到法律的严肃惩处。此类案件的审理，向社会传递了明确信号：技术中立不等于技术无罪，算法不是法外之地。”宁波市中级人民法院刑事审判第二庭庭长陈靖表示。

9月7日，《最高人民法院关于依法审理涉人工智能纠纷案件的意见》发布，明确规定利用人工智能制作、贩卖、传播淫秽物品等行为，构成犯罪的，依法追究刑事责任。