面向安全、IT、平台及业务负责人:请把每一名 AI 员工都视为职责边界明确的工作成员,为其设定工作范围、访问权限、监督机制和事件处置路径。
AI 智能体安全之所以比聊天机器人安全更复杂,是因为智能体可能调用工具、访问数据、记住上下文并触发实际业务操作。
围绕身份、权限、工具范围、记忆、日志、审批、监控和受控部署路径设计 AI 智能体治理体系。
团队可以先在边界明确的工作流中试点 OpenMax AI 员工,验证稳定后再扩展为更完整的智能体团队。
什么是 AI 智能体安全?
AI 智能体安全,是围绕智能体身份、数据访问、工具、记忆、操作、审批、日志、监控和部署环境建立的一整套控制体系。智能体会影响真实业务系统,而不只是生成文本,因此企业在扩大智能体团队规模前必须先建立治理机制。
企业采用 Agentic AI 前通常会先评估风险。真正需要回答的并不是某个智能体是否笼统地“安全”,而是当前工作流是否针对所涉及的数据、工具和决策设置了足够清晰的边界。
智能体访问被当作功能开关
团队把工具、文档和渠道连接起来,却没有明确角色边界、审批规则,也缺少能够还原操作经过的日志。
AI 员工在控制体系内工作
每个智能体角色都有明确的工作范围、权限、记忆、复核路径、负责人可见性和部署要求。
需要纳入治理的智能体风险
当软件可以自主选择工具并影响业务系统时,风险会随之增加。安全审查既要覆盖模型行为,也要覆盖整个工作流的行为。
工具权限过宽
如果智能体可以读取大范围数据或执行广泛操作,一旦误判上下文或接收到恶意输入,造成的影响也会更大。
提示注入与数据攻击
隐藏在文档、工单、网页或消息中的指令,可能诱导智能体偏离原定策略。
人工监督不足
高影响操作在触及客户或内部系统前,需要经过人工审批,并具备清晰的升级路径、完整日志和明确的负责人。
凡是能够改变资金、访问权限、对外承诺、法律表述、客户状态或生产系统的工作流,都必须设置明确控制。
企业团队的治理控制
下表是一份可执行的控制清单。请在授予智能体生产数据或业务系统访问权限前逐项确认。
| 控制项 | 需要明确的内容 | 为什么重要 | OpenMax 的适配方式 |
|---|---|---|---|
| 身份 | SSO、SAML 或 OIDC、角色映射、负责人和账号生命周期。 | 访问权限应遵循企业身份管理和离职停用规则。 | AI 员工和智能体团队应按企业身份体系分阶段上线。 |
| 最小权限 | 文档、API、工具、渠道、数据级别和写入操作。 | 智能体只能访问完成当前工作流所必需的资源。 | 扩展范围前,为每个角色定义专属权限。 |
| 工具边界 | 允许使用的工具、禁止操作、演练路径和审批关口。 | 工具调用是智能体与普通对话系统最显著的区别。 | 为每名 AI 员工分配边界明确的角色。 |
| 记忆控制 | 获准使用的知识、保留期限、敏感字段和纠错流程。 | 持久记忆只有在受到治理时才能稳定发挥价值。 | 将记忆与可复核来源及固定更新节奏配套管理。 |
| 人工审批 | 风险阈值、升级负责人、决策权限和例外规则。 | 高影响或含糊不清的决策应由人类负责人掌握。 | 让智能体团队准备材料,而不是绕过业务负责人。 |
| 监控 | 日志、工具调用、错误、人工改写、事件和复核频率。 | 安全团队需要在行为变化时获得可验证证据。 | 扩大部署前持续复核输出结果。 |
请将这些控制落实到目标工作流实际涉及的身份、数据类别、工具、操作和事故处置路径上。
OpenMax 如何支持企业智能体控制
OpenMax 面向企业 AI 员工和智能体团队设计,因此安全控制必须落实到工作流层,而不能只停留在模型层。
- Agent Cloud:按角色组织 AI 员工,使团队能够拆分接入、知识检索、执行、复核和交接职责。
- 全渠道协作:在明确边界的前提下连接会话、文档、CRM、财务、客服、工程和内部工作流渠道。
- 持久记忆:当记忆来源、保留期限、纠错方式和复核路径清晰时,为重复性工作提供连续上下文。
- Zylos/HxA:为团队提供智能体基础设施和人机协作模式的实施路径。
- 受控部署路径:当数据、源代码、客户记录或受监管流程需要更严格控制时,支持更稳妥的部署决策。
- 人工复核:高影响操作继续由业务负责人审批,例外情况和最终责任不会被智能体绕过。
如需了解平台控制,请阅读AI 智能体平台指南;如需了解智能体团队架构,请参阅Agentic AI 指南。
私有部署、SSO/SAML 与身份架构
当智能体接触内部系统时,安全要求会发生变化。企业扩大部署前,应把身份、访问权限、数据边界和部署方式统一设计。
智能体接触敏感系统前,身份、部署边界、工具权限、日志和人工审批应作为一个整体完成设计。
部署前如何评估智能体控制
从小范围开始。边界明确的试点便于负责人准确检查智能体可以看到什么、决定什么和执行什么。
梳理智能体工作范围
写明工作流的业务目标、使用者、渠道、系统、数据级别、允许操作、负责人和成功指标。
对数据和工具分级
列出 AI 员工能够访问的每个数据源、文档集、API、工具、账号和输出渠道,并标注敏感程度与业务影响。
设置身份与访问控制
在适用场景中接入企业身份体系,定义角色,落实最小权限,并将测试环境访问权限与生产环境严格分开。
明确审批与升级规则
记录智能体可以自动执行、必须人工审批和绝不能执行的事项,同时规定高风险情况如何交接。
测试安全风险与监控能力
运行常规、边界和对抗性案例;扩展前检查日志、工具调用、记忆行为、策略边界和负责人改写比例。
在治理基础上扩展
只有当负责人信任工作流后再扩大范围,并同步增加监控、复核频率、事件处置、专用部署要求和按角色拆分的智能体团队。
智能体工作纳入治理后会发生什么
治理不只是降低风险。明确哪些操作可以执行、哪些决策必须复核,也能帮助智能体团队更快推进工作。
文档密集型复核
确认每项提取事实仍与原始来源关联,受限文档始终处在正确权限后方,复核人员能够还原最终决策过程。
日常智能体运营
拆分接入、检索、起草、系统操作和审批职责,避免某个受影响的角色在无人察觉时控制整个工作流。
变更与恢复
扩展到敏感生产任务前,测试权限撤销、工具不可用、记忆过期、写入失败和人工接管。
如需了解业务架构,请参阅企业 AI 智能体指南;如需了解工作流上线方式,请参阅工作流自动化。
在企业控制下部署 AI 员工
使用 OpenMax Agent Cloud 规划角色、权限、记忆、全渠道协作、人工审批和受控部署路径。
AI 智能体安全常见问题
AI 智能体安全上线清单
智能体获得生产环境访问权限前,应围绕真实工作流、身份、数据、工具和恢复路径完成安全设计。
身份与访问: 为每个智能体设置独立身份,并只授予完成指定职责所需的数据和工具权限。
审批边界: 付款、账户变更、对外承诺、敏感数据导出和政策例外必须经过人工审批。
审计与响应: 记录来源访问、工具调用、写入、审批、失败和回滚,并指定事件负责人和经过测试的停用路径。
