• 南方网

  • 南方日报

  • 南方都市报

  • 南方杂志

  • 南方日报出版社

聚焦智能体规范应用与创新发展,这场大讲堂在佛山开讲

2026-06-28 13:14 来源:南方网·粤学习

  6月26日,由广东省委网信办、佛山市委网信办、禅城区委网信办联合主办,南方新闻网、佛山市网络安全和信息化协会、佛山职业技术学院共同承办的人工智能时代的安全风险防控与落地实践大讲堂在佛山禅城文华花市指挥中心举行。活动同步开启线上直播,共吸引近6000人参与。 

活动现场。图/李卓轩摄

活动现场。图/李卓轩摄

  近日,国家网信办、国家发展改革委、工业和信息化部联合印发的《智能体规范应用与创新发展实施意见》,明确智能体发展要坚持安全可控、规范有序、创新驱动、应用牵引的基本原则。本次活动正是落实国家政策部署的具体举措,特邀中山大学网络空间安全学院教授薛磊、佛山职业技术学院信息中心副主任张伟作专题分享,以实战案例凸显防范智能应用安全风险、完善治理体系、强化行业自律的重要性,推动辖区AI技术规范落地、安全创新并行。

  智能体时代的系统安全风险

  中山大学网络空间安全学院教授、博士生导师、国家青年人才、网络空间安全学院院长助理、广东通信学会数据安全专委副主任委员薛磊率先开讲。

  现场,薛磊从1950年图灵测试与1956年达特茅斯会议切入,梳理了人工智能从概念萌芽到深度学习的演进历程,并指出当前AI已跨越聊天机器人阶段,步入具备自主规划与工具调用能力的智能体时代。也就是说,AI不再只是信息输出的端点,而已成为系统操作的执行主体。

薛磊作分享。图/李卓轩摄

薛磊作分享。图/李卓轩摄

  薛磊以OpenClaw为代表的多智能体协作系统为例,阐述它能将多个AI组织成可分工的虚拟团队,从知识问答演进为工作流执行,进而发展为可以自主规划与交付的“办事员”,在复杂任务中实现跨应用协同与自动化闭环。

  但同时,AI能力跃迁也放大了安全风险的波及面。薛磊剖析了模型算法、数据训练与系统部署三个层面的脆弱性。具体而言,深度学习模型存在可解释性缺失及易受对抗样本攻击的问题;训练数据若遭投毒,可能导致输出结果出现偏差;开源工具链与供应链中存在的潜在后门风险,共同构成了智能系统从研发到运行全周期的风险敞口。

  结合金融风控模型误判引发批量交易冻结、自动驾驶系统因路标扰动导致事故等案例,薛磊进一步阐明了人工智能失控对经济社会运行造成的冲击,指出人工智能目前被滥用于自动化网络攻击、深度伪造及虚假信息传播等行为,已从理论层面的风险推演转化为现实威胁。

  围绕时下热门的OpenClaw智能体,薛磊也直接点破其存在的九大安全漏洞。他指出,这些漏洞从浏览器端的Token劫持、模型输出指令触发的本地文件外传,到配置接口注入实现远程代码执行、审批机制被前端绕过、低权限配对越权提升至管理员权限,最终形成一条完整的攻击链路。

  “这一系列漏洞的核心症结在于智能体被赋予了过高的系统权限,而架构层面的安全边界尚未建立。”他强调,工信部NVDB与国家互联网应急中心已就此发布专项预警,各单位须对智能体执行权限建立严格的管控基线。

  AI安全风险与防护路径

  中国互联网络信息中心(CNNIC)披露,2025年我国生成式AI用户规模达5.15亿,半年翻番。这意味着AI技术正在从少数人的专业工具变为全民可及的基础能力,工作流的自动化、内容的智能化生成、决策的数据化辅助,都在快速进入日常办公与业务运转。但同枚硬币的另一面是,随着使用门槛降低和普及面扩大,AI的安全问题也从少数技术精英关注的“专业议题”,变成了每个人都可能踩中的“日常陷阱”。

  佛山职业技术学院信息中心副主任,人工智能培训讲师张伟系统梳理了当前AI安全的五大风险类型。分别是:生成式AI滥用导致的虚假信息与深度伪造、算法偏见引发的系统性歧视、训练与交互过程中的数据隐私泄露、模型自身的对抗攻击与提示词注入脆弱性,以及AI应用对社会伦理与就业结构的深层冲击。 

张伟作分享。图/李卓轩摄

张伟作分享。图/李卓轩摄

  现场,他还列举了多起引发广泛关注的案例,包括违规将涉密文件导入开源AI工具导致敏感资料被境外下载、“GEO投毒”产业链操纵大模型输出标准答案、全国首例AI代写“种草笔记”不正当竞争案宣判等,以及多起AI换脸诈骗案件。

  “技术发展的速度永远快于规则制定的节奏,但安全防护的底线不能因此被突破。”张伟指出从组织、技术与权限三方面协同推进,包括组织上建立跨部门AI安全治理委员会,将伦理审查与安全合规纳入项目全生命周期;技术上落实私有化部署、数据脱敏与AI安全网关,严守涉密数据不触碰公有AI的底线;权限上执行最小特权原则,高危操作须经人工审批,严禁AI直接持有数据库操作权限。

  他还建议各单位积极开展影子AI清查并建立工具白名单,尤其是防范在个人终端上运行OpenClaw等智能体可能带来的安全风险,一旦通讯录、本地文档等敏感信息因权限过载或注入攻击被带出,后果将难以控制。此外,他指出,日常云端存储同样面临访问控制策略不当、容器逃逸、接口暴露等风险,也要注意数据安全。

编辑:朱文婷   责任编辑:陈海敏  
回到首页 南方网二维码 回到顶部

南方报业传媒集团简介- 网站简介- 广告服务- 招标投标- 物资采购- 联系我们- 法律声明- 友情链接

本网站由南方新闻网版权所有,未经授权禁止复制或建立镜像 广东南方网络信息科技有限公司负责制作维护

违法和不良信息举报电话:020-87373397 18122015068

ICP备案号:粤B-20050235