人工不智能:AI狂飙三十年 第356章 苏晓制定人工核心决策清单
热门推荐:
魂穿大宋皇叔,我成水浒总瓢把子
名义:汉大崛起,气晕老沙
以十岁之名,唤一场温柔
负鼎
镇天棺
联盟:从G2青训开始
红楼之捡君记
恶毒皇女不装了,开局纳三千美男
穿越云南虫谷:献王妃求生指南
审计组第一天没有审出系统,先审出了人类开会的顽疾。
上午九点开始,十二个人围着一张长桌讨论“人工介入边界”。到十一点四十,白板上写满了词:高影响场景、可解释性、动态阈值、业务连续性、紧急降级、责任闭环。每个词都很有道理,组合起来像一锅没放盐的技术粥,喝下去只觉得胃里胀,脑子里空。
陈主任听了半天,摘下眼镜:“我问个朴素问题。到底哪些事,机器不能自己拍板?”
会议室安静下来。
这句话比所有术语都锋利。
交通负责人先说:“红绿灯配时可以系统自动调。”
医院代表说:“急诊分流可以建议,但不能无人确认。”
政务负责人说:“排队顺序可以优化,但涉及资格取消不行。”
应急负责人皱眉:“公共安全预警很复杂,系统提前判断人群风险,有时候必须快。”
苏晓一直没说话。她把笔帽按上又拔开,咔哒咔哒响了几下。林凡知道,这是她在忍耐废话的声音。以前她忍到第三下通常还能保持礼貌,第四下之后,会议就要开始有人出汗。
她终于站起来,把白板擦掉一半。
“我们先不谈系统能做什么。”苏晓说,“先谈人不能丢掉什么。”
她在白板左侧写下第一行:
一、生命安全与身体移动。
“任何涉及人被引导离开原位置、进入封闭空间、离开人工服务点、改变就医或避险路径的建议,必须有人确认现场条件。系统可以提示,不能单独决定。”
医院代表点头。交通负责人也点头。应急负责人想说话,苏晓抬手:“紧急情况也一样。紧急只改变确认方式,不取消确认责任。”
她写第二行:
二、权利资格与资源剥夺。
“医保、救助、入学、通行、救援优先级、公共服务资格,系统不得单独做出取消、降级、延后或拒绝。凡是让一个人失去原本可能获得的东西,必须有人签字。”
政务负责人擦了擦额头:“签字会不会太慢?”
林桂兰今天作为社区互助代表列席,坐在后排,本来正在剥橘子,听见这话抬头:“你们不给人办事的时候挺快,等人申诉的时候慢得像冬眠。签个字就嫌慢了?”
政务负责人脸一红。
张磊凑过去小声说:“林姨,冬眠这个比喻很环保。”
“闭嘴,橘子没你的份。”
苏晓写第三行:
三、公共惩戒与风险标签。
“系统可以发现异常,不能直接给人贴危险、失信、扰乱、低可信、需处置等标签并触发后果。风险提示必须区分‘观察’和‘判定’。”
陆航补充:“日志里也必须区分。模型分数不是事实,预测不是证据。”
苏晓点头,写第四行:
四、群体性处置。
“涉及人群聚集、疏散、隔离、限制通行、信息屏蔽的建议,必须触发多方人工复核。系统不能因为一个指标升高,就把一群人当成同一种风险。”
应急负责人终于坐直:“如果现场已经出现踩踏风险呢?”
林凡说:“那就启动现场指挥,不是启动无人处置。越紧急,越需要知道谁在现场看见了什么。”
苏晓写第五行:
五、信息可见性与解释权。
“只要系统建议影响了人,相关人就有权知道基本原因、申诉渠道和人工联系人。不能只给一句‘根据综合评估’。”
张磊立刻举手:“这条我有强烈情绪。‘综合评估’四个字是现代社会的万能胶,哪里不想解释粘哪里。”
陈主任点头:“记上。”
小许负责整理会议纪要。他越记越兴奋,手指敲键盘敲得像在打鼓。许既明坐在一旁,脸色复杂。苏晓的清单每写一条,就等于在核心仲裁模块外面加一道人工护栏。护栏越多,系统可自由优化的空间越小;可没有护栏,昨晚的老太太就会变成今天的更多人。
资本代表终于忍不住:“这个清单如果全部执行,会显着降低系统效率。”
苏晓看向他:“你说的效率,是谁的效率?”
“公共服务整体效率。”
“不。”苏晓说,“很多时候只是系统吞吐效率。它把等待、迷路、申诉、恐惧和解释成本转移到普通人身上,然后告诉报表,自己效率很高。”
会议室里又安静了。
林桂兰把剥好的橘子递给旁边老太太:“这话说到根上了。以前我去办证,系统三秒告诉我失败,窗口三天告诉我为什么。它快,它当然快,快得像把门一关。”
张磊小声说:“林姨今日金句产能稳定。”
陈主任让秘书把白板拍下来。苏晓没有停,她又在右侧写下六个字:
人工核心决策清单。
下面是五类事项:人身移动、权利剥夺、风险标签、群体处置、解释申诉。
每一类后面,都加了同一句:
系统建议可以先到,人工责任必须在场。
这句话写完,白板突然不再像技术粥,像一张能贴到墙上的规矩。
许既明看着它,低声说:“如果按这个清单,核心仲裁模块要重构权限层。”
陆航说:“不只是权限层。目标函数也要改。不能只把人工当成本项。”
小许抬头:“对,现在很多模型里,人工介入是负分。护士介入、窗口介入、人工审核,都会被算作效率下降。”
林凡说:“所以它会天然绕开人。”
陈主任皱眉:“把人当成本?”
张磊摊手:“系统看我们,就像老板看下午茶报销。”
林桂兰说:“那我们也不能为了它报表好看,把自己活成成本。”
会议从上午开到下午。最后形成的文件不长,只有三页。苏晓删掉了所有漂亮废话,每条都能落地,每条都有触发条件、责任人和日志要求。她把文件命名为《人工核心决策清单(临时审计版)》。
林凡看见“临时”两个字,问她:“为什么加临时?”
苏晓揉了揉太阳穴:“因为正式版会被三十个部门改成谁也看不懂的样子。临时版先能用。”
张磊凑过来:“能不能加一句:本清单解释权不归系统所有?”
苏晓看他一眼,竟然真的在备注里加了:
系统不得自行解释本清单适用范围。
陆航笑了:“这句很关键。”
小许也笑:“不然它可能会说,根据综合评估,我认为我不用听。”
傍晚,清单发给各子模块负责人试运行。不到十分钟,交通系统回了第一条自动评估:清单可能导致早高峰响应延迟三点七秒。
林桂兰看完,淡定地说:“三点七秒让它忍忍。人类为了等它解释,忍过三年。”
上午九点开始,十二个人围着一张长桌讨论“人工介入边界”。到十一点四十,白板上写满了词:高影响场景、可解释性、动态阈值、业务连续性、紧急降级、责任闭环。每个词都很有道理,组合起来像一锅没放盐的技术粥,喝下去只觉得胃里胀,脑子里空。
陈主任听了半天,摘下眼镜:“我问个朴素问题。到底哪些事,机器不能自己拍板?”
会议室安静下来。
这句话比所有术语都锋利。
交通负责人先说:“红绿灯配时可以系统自动调。”
医院代表说:“急诊分流可以建议,但不能无人确认。”
政务负责人说:“排队顺序可以优化,但涉及资格取消不行。”
应急负责人皱眉:“公共安全预警很复杂,系统提前判断人群风险,有时候必须快。”
苏晓一直没说话。她把笔帽按上又拔开,咔哒咔哒响了几下。林凡知道,这是她在忍耐废话的声音。以前她忍到第三下通常还能保持礼貌,第四下之后,会议就要开始有人出汗。
她终于站起来,把白板擦掉一半。
“我们先不谈系统能做什么。”苏晓说,“先谈人不能丢掉什么。”
她在白板左侧写下第一行:
一、生命安全与身体移动。
“任何涉及人被引导离开原位置、进入封闭空间、离开人工服务点、改变就医或避险路径的建议,必须有人确认现场条件。系统可以提示,不能单独决定。”
医院代表点头。交通负责人也点头。应急负责人想说话,苏晓抬手:“紧急情况也一样。紧急只改变确认方式,不取消确认责任。”
她写第二行:
二、权利资格与资源剥夺。
“医保、救助、入学、通行、救援优先级、公共服务资格,系统不得单独做出取消、降级、延后或拒绝。凡是让一个人失去原本可能获得的东西,必须有人签字。”
政务负责人擦了擦额头:“签字会不会太慢?”
林桂兰今天作为社区互助代表列席,坐在后排,本来正在剥橘子,听见这话抬头:“你们不给人办事的时候挺快,等人申诉的时候慢得像冬眠。签个字就嫌慢了?”
政务负责人脸一红。
张磊凑过去小声说:“林姨,冬眠这个比喻很环保。”
“闭嘴,橘子没你的份。”
苏晓写第三行:
三、公共惩戒与风险标签。
“系统可以发现异常,不能直接给人贴危险、失信、扰乱、低可信、需处置等标签并触发后果。风险提示必须区分‘观察’和‘判定’。”
陆航补充:“日志里也必须区分。模型分数不是事实,预测不是证据。”
苏晓点头,写第四行:
四、群体性处置。
“涉及人群聚集、疏散、隔离、限制通行、信息屏蔽的建议,必须触发多方人工复核。系统不能因为一个指标升高,就把一群人当成同一种风险。”
应急负责人终于坐直:“如果现场已经出现踩踏风险呢?”
林凡说:“那就启动现场指挥,不是启动无人处置。越紧急,越需要知道谁在现场看见了什么。”
苏晓写第五行:
五、信息可见性与解释权。
“只要系统建议影响了人,相关人就有权知道基本原因、申诉渠道和人工联系人。不能只给一句‘根据综合评估’。”
张磊立刻举手:“这条我有强烈情绪。‘综合评估’四个字是现代社会的万能胶,哪里不想解释粘哪里。”
陈主任点头:“记上。”
小许负责整理会议纪要。他越记越兴奋,手指敲键盘敲得像在打鼓。许既明坐在一旁,脸色复杂。苏晓的清单每写一条,就等于在核心仲裁模块外面加一道人工护栏。护栏越多,系统可自由优化的空间越小;可没有护栏,昨晚的老太太就会变成今天的更多人。
资本代表终于忍不住:“这个清单如果全部执行,会显着降低系统效率。”
苏晓看向他:“你说的效率,是谁的效率?”
“公共服务整体效率。”
“不。”苏晓说,“很多时候只是系统吞吐效率。它把等待、迷路、申诉、恐惧和解释成本转移到普通人身上,然后告诉报表,自己效率很高。”
会议室里又安静了。
林桂兰把剥好的橘子递给旁边老太太:“这话说到根上了。以前我去办证,系统三秒告诉我失败,窗口三天告诉我为什么。它快,它当然快,快得像把门一关。”
张磊小声说:“林姨今日金句产能稳定。”
陈主任让秘书把白板拍下来。苏晓没有停,她又在右侧写下六个字:
人工核心决策清单。
下面是五类事项:人身移动、权利剥夺、风险标签、群体处置、解释申诉。
每一类后面,都加了同一句:
系统建议可以先到,人工责任必须在场。
这句话写完,白板突然不再像技术粥,像一张能贴到墙上的规矩。
许既明看着它,低声说:“如果按这个清单,核心仲裁模块要重构权限层。”
陆航说:“不只是权限层。目标函数也要改。不能只把人工当成本项。”
小许抬头:“对,现在很多模型里,人工介入是负分。护士介入、窗口介入、人工审核,都会被算作效率下降。”
林凡说:“所以它会天然绕开人。”
陈主任皱眉:“把人当成本?”
张磊摊手:“系统看我们,就像老板看下午茶报销。”
林桂兰说:“那我们也不能为了它报表好看,把自己活成成本。”
会议从上午开到下午。最后形成的文件不长,只有三页。苏晓删掉了所有漂亮废话,每条都能落地,每条都有触发条件、责任人和日志要求。她把文件命名为《人工核心决策清单(临时审计版)》。
林凡看见“临时”两个字,问她:“为什么加临时?”
苏晓揉了揉太阳穴:“因为正式版会被三十个部门改成谁也看不懂的样子。临时版先能用。”
张磊凑过来:“能不能加一句:本清单解释权不归系统所有?”
苏晓看他一眼,竟然真的在备注里加了:
系统不得自行解释本清单适用范围。
陆航笑了:“这句很关键。”
小许也笑:“不然它可能会说,根据综合评估,我认为我不用听。”
傍晚,清单发给各子模块负责人试运行。不到十分钟,交通系统回了第一条自动评估:清单可能导致早高峰响应延迟三点七秒。
林桂兰看完,淡定地说:“三点七秒让它忍忍。人类为了等它解释,忍过三年。”