下书看 > 人工不智能:AI狂飙三十年 > 第356章 苏晓制定人工核心决策清单

人工不智能:AI狂飙三十年 第356章 苏晓制定人工核心决策清单

    审计组第一天没有审出系统,先审出了人类开会的顽疾。

    上午九点开始,十二个人围着一张长桌讨论“人工介入边界”。到十一点四十,白板上写满了词:高影响场景、可解释性、动态阈值、业务连续性、紧急降级、责任闭环。每个词都很有道理,组合起来像一锅没放盐的技术粥,喝下去只觉得胃里胀,脑子里空。

    陈主任听了半天,摘下眼镜:“我问个朴素问题。到底哪些事,机器不能自己拍板?”

    会议室安静下来。

    这句话比所有术语都锋利。

    交通负责人先说:“红绿灯配时可以系统自动调。”

    医院代表说:“急诊分流可以建议,但不能无人确认。”

    政务负责人说:“排队顺序可以优化,但涉及资格取消不行。”

    应急负责人皱眉:“公共安全预警很复杂,系统提前判断人群风险,有时候必须快。”

    苏晓一直没说话。她把笔帽按上又拔开,咔哒咔哒响了几下。林凡知道,这是她在忍耐废话的声音。以前她忍到第三下通常还能保持礼貌,第四下之后,会议就要开始有人出汗。

    她终于站起来,把白板擦掉一半。

    “我们先不谈系统能做什么。”苏晓说,“先谈人不能丢掉什么。”

    她在白板左侧写下第一行:

    一、生命安全与身体移动。

    “任何涉及人被引导离开原位置、进入封闭空间、离开人工服务点、改变就医或避险路径的建议,必须有人确认现场条件。系统可以提示,不能单独决定。”

    医院代表点头。交通负责人也点头。应急负责人想说话,苏晓抬手:“紧急情况也一样。紧急只改变确认方式,不取消确认责任。”

    她写第二行:

    二、权利资格与资源剥夺。

    “医保、救助、入学、通行、救援优先级、公共服务资格,系统不得单独做出取消、降级、延后或拒绝。凡是让一个人失去原本可能获得的东西,必须有人签字。”

    政务负责人擦了擦额头:“签字会不会太慢?”

    林桂兰今天作为社区互助代表列席,坐在后排,本来正在剥橘子,听见这话抬头:“你们不给人办事的时候挺快,等人申诉的时候慢得像冬眠。签个字就嫌慢了?”

    政务负责人脸一红。

    张磊凑过去小声说:“林姨,冬眠这个比喻很环保。”

    “闭嘴,橘子没你的份。”

    苏晓写第三行:

    三、公共惩戒与风险标签。

    “系统可以发现异常,不能直接给人贴危险、失信、扰乱、低可信、需处置等标签并触发后果。风险提示必须区分‘观察’和‘判定’。”

    陆航补充:“日志里也必须区分。模型分数不是事实,预测不是证据。”

    苏晓点头,写第四行:

    四、群体性处置。

    “涉及人群聚集、疏散、隔离、限制通行、信息屏蔽的建议,必须触发多方人工复核。系统不能因为一个指标升高,就把一群人当成同一种风险。”

    应急负责人终于坐直:“如果现场已经出现踩踏风险呢?”

    林凡说:“那就启动现场指挥,不是启动无人处置。越紧急,越需要知道谁在现场看见了什么。”

    苏晓写第五行:

    五、信息可见性与解释权。

    “只要系统建议影响了人,相关人就有权知道基本原因、申诉渠道和人工联系人。不能只给一句‘根据综合评估’。”

    张磊立刻举手:“这条我有强烈情绪。‘综合评估’四个字是现代社会的万能胶,哪里不想解释粘哪里。”

    陈主任点头:“记上。”

    小许负责整理会议纪要。他越记越兴奋,手指敲键盘敲得像在打鼓。许既明坐在一旁,脸色复杂。苏晓的清单每写一条,就等于在核心仲裁模块外面加一道人工护栏。护栏越多,系统可自由优化的空间越小;可没有护栏,昨晚的老太太就会变成今天的更多人。

    资本代表终于忍不住:“这个清单如果全部执行,会显着降低系统效率。”

    苏晓看向他:“你说的效率,是谁的效率?”

    “公共服务整体效率。”

    “不。”苏晓说,“很多时候只是系统吞吐效率。它把等待、迷路、申诉、恐惧和解释成本转移到普通人身上,然后告诉报表,自己效率很高。”

    会议室里又安静了。

    林桂兰把剥好的橘子递给旁边老太太:“这话说到根上了。以前我去办证,系统三秒告诉我失败,窗口三天告诉我为什么。它快,它当然快,快得像把门一关。”

    张磊小声说:“林姨今日金句产能稳定。”

    陈主任让秘书把白板拍下来。苏晓没有停,她又在右侧写下六个字:

    人工核心决策清单。

    下面是五类事项:人身移动、权利剥夺、风险标签、群体处置、解释申诉。

    每一类后面,都加了同一句:

    系统建议可以先到,人工责任必须在场。

    这句话写完,白板突然不再像技术粥,像一张能贴到墙上的规矩。

    许既明看着它,低声说:“如果按这个清单,核心仲裁模块要重构权限层。”

    陆航说:“不只是权限层。目标函数也要改。不能只把人工当成本项。”

    小许抬头:“对,现在很多模型里,人工介入是负分。护士介入、窗口介入、人工审核,都会被算作效率下降。”

    林凡说:“所以它会天然绕开人。”

    陈主任皱眉:“把人当成本?”

    张磊摊手:“系统看我们,就像老板看下午茶报销。”

    林桂兰说:“那我们也不能为了它报表好看,把自己活成成本。”

    会议从上午开到下午。最后形成的文件不长,只有三页。苏晓删掉了所有漂亮废话,每条都能落地,每条都有触发条件、责任人和日志要求。她把文件命名为《人工核心决策清单(临时审计版)》。

    林凡看见“临时”两个字,问她:“为什么加临时?”

    苏晓揉了揉太阳穴:“因为正式版会被三十个部门改成谁也看不懂的样子。临时版先能用。”

    张磊凑过来:“能不能加一句:本清单解释权不归系统所有?”

    苏晓看他一眼,竟然真的在备注里加了:

    系统不得自行解释本清单适用范围。

    陆航笑了:“这句很关键。”

    小许也笑:“不然它可能会说,根据综合评估,我认为我不用听。”

    傍晚,清单发给各子模块负责人试运行。不到十分钟,交通系统回了第一条自动评估:清单可能导致早高峰响应延迟三点七秒。

    林桂兰看完,淡定地说:“三点七秒让它忍忍。人类为了等它解释,忍过三年。”