企业知识库接入AI前,先检查哪些资料根本不该被读到
企业为AI接入知识库时,常先讨论模型能回答多少问题,却晚一步检查它能读取谁的资料。OWASP生成式AI安全项目的敏感信息披露风险说明强调最小权限、限制资料来源与数据清理,并提醒系统提示中的限制可能被绕过。本文据此讨论工程边界,不声称任何一项措施可以消除全部泄露风险。
一个容易混淆的地方是:员工可以在自己的系统里查看某份文件,不代表所有员工都应通过共享助手获得这份文件。若知识库把不同部门的内容统一索引,却没有在检索时保留原有权限,回答越准确,反而可能越准确地泄露资料。
权限判断应在读取之前发生
我们的建议是,把权限检查放到获取证据的过程,而不是只在答案输出时要求模型隐去秘密。当前用户不应访问的记录,首先就不该进入该次回答的上下文。对于存在例外的业务流程,应由明确的授权机制处理,而非让模型根据对话语气猜测身份。
测试样本可以包括不同部门、离职成员和权限刚被撤销的用户。重点不仅是能否搜索到标题,还包括摘要、引用片段与附件是否会间接露出内容。系统若声称无权限,却同时给出详细摘要,也没有真正守住边界。
资料离开知识库之后仍要管理
检索到的段落可能进入模型调用、调试记录和反馈系统。团队应为这些路径分别列出目的与保留范围,避免一次排查把整份文件复制到长期日志。需要观察问题时,可以优先保存请求标识和必要的诊断信息,再按受控流程查看原文。
数据最小化也能提高流程清晰度。某项任务只需要合同到期日,就不必把全部条款和联系人信息一起提交。具体哪些字段可以省去,应由业务需求与风险评估决定,并通过实际任务检查删减后是否仍能完成工作。
企业AI的可靠性,不仅在于回答得好,也在于知道哪些资料不该参与回答。清楚的访问规则、及时的权限更新和受控的日志,是这类系统的基础工作。模型提示可以作为补充,但不能替代真实的数据访问边界。