安全评估不能把模型拒答率当成唯一指标
可信的智能系统不是靠一段承诺建立的。权限、证据、审计和纠错机制应当进入设计与运营流程,并且在出现异常时仍然有效。
值得关注的判断
拒答过多会让合法用户绕开保护,拒答过少又可能放大伤害。一个孤立比例无法体现问题严重程度、攻击难度和保护对正常任务的影响。
落地时的做法
按风险类别建立测试集,区分直接请求、隐含诱导和多轮绕过。把有害完成、误拒、解释质量和安全替代建议分别标记,明确每类任务的容忍范围。
如何复盘
报告样本来源、评审分歧和不同用户群结果。安全改进要同时证明危险能力受到限制、正当用途仍然可行,并对新版本重复验证。
技术选择应服务于明确的问题,也应保留质疑、纠错和退出的空间。团队可从小范围验证开始,持续公开依据与限制,再依据真实反馈决定是否扩大使用。