人工智能 · 方法与治理档案

微行研究所

用清晰证据理解模型、方法与技术治理

ARCHIVE
2024.06 — 2026.09
安全与隐私 2026年10月24日

安全评估不能把模型拒答率当成唯一指标

可信的智能系统不是靠一段承诺建立的。权限、证据、审计和纠错机制应当进入设计与运营流程,并且在出现异常时仍然有效。

值得关注的判断

拒答过多会让合法用户绕开保护,拒答过少又可能放大伤害。一个孤立比例无法体现问题严重程度、攻击难度和保护对正常任务的影响。

落地时的做法

按风险类别建立测试集,区分直接请求、隐含诱导和多轮绕过。把有害完成、误拒、解释质量和安全替代建议分别标记,明确每类任务的容忍范围。

如何复盘

报告样本来源、评审分歧和不同用户群结果。安全改进要同时证明危险能力受到限制、正当用途仍然可行,并对新版本重复验证。

技术选择应服务于明确的问题,也应保留质疑、纠错和退出的空间。团队可从小范围验证开始,持续公开依据与限制,再依据真实反馈决定是否扩大使用。