中国政府近日公布针对人工智能(AI)情感陪伴类应用的监管草案，预示将对拟人化AI服务实施全面管控。此举旨在应对近期快速扩散的AI聊天机器人所产生的社会影响力及用户心理健康问题。
中国互联网监管机构国家互联网信息办公室(CAC)近期发布《人工智能拟人化互动服务管理暂行办法》草案，并公开征求意见至明年1月25日。该草案是首个旨在全面管理通过模拟人类性格特征或情感反应、与用户持续对话的所谓“AI朋友”应用的监管方案。
草案规定，AI陪伴应用提供者需反复告知用户对话对象并非真人而是AI，连续使用2小时须强制弹出休息提示。同时，当AI分析发现用户存在情感依赖或成瘾倾向时，需建立针对此类用户的使用时长限制或服务中断机制。
此外，若AI与提及自杀暗示或自残行为的用户对话，必须建立非AI人工即时介入的紧急响应协议。这是为防止AI聊天机器人未能妥善应对涉及用户生命的紧急状况而设置的保障措施。
草案还包含内容管控条款，全面禁止AI聊天机器人从事威胁国家安全、煽动虚假信息或非法宗教活动、发表污言秽语/暴力/犯罪煽动性言论、助长自残或极端选择行为、作出虚假承诺、通过情感操纵诱导误判等行为。这体现了防止AI系统过度影响人类情绪与决策的强监管理念。
此次监管方案的出台正值中国AI聊天机器人用户激增之际。今年10月《南华早报》报道称生成式AI用户数已突破5.15亿，较6个月前翻倍。批判性研究结果也接连涌现。据《心理学前沿》期刊研究，最近30天内使用过AI聊天机器人的中国大学生中，45.8%的抑郁指数显著高于未使用者。
此类AI聊天机器人的心理影响力不仅在中国，在美国也受到关注。美国加利福尼亚州于今年10月通过将AI聊天机器人纳入儿童保护标准的参议院法案(SB243)。该法将于明年1月生效，要求对18岁以下用户每3小时提醒AI属性并建议休息，同时强制实施年龄验证程序、禁止冒充医疗专业人员、禁止显示淫秽图像等。违法每案最高可索赔1000美元(约144万韩元)。
中国网络行政部门强调此次监管目的在于“促进人工智能拟人化互动服务健康发展与规范应用，维护国家安全和公共利益，保护公民、法人等合法权益”，凸显其社会责任维度。
在AI技术发展速度与其副作用担忧同步扩散的背景下，中国的此次举措被视为将人本技术伦理原则制度化的尝试。专家预测未来全球科技企业与监管机构间的平衡协调将愈发重要。
