人工不智能:AI狂飙三十年 第250章 核心工具变成核心依赖
黑箱乱飞那段时间最后一次内部复盘,被顾启明安排在周五下午。
这个时间点很危险。周五下午的人类,灵魂已经提前下班,身体还被会议室椅子扣押。磊磊抱着电脑走进来时,脸上写着“我可以开会,但我的大脑只提供试用版服务”。林桂兰倒是精神很好,她带了两袋橘子,说社区阿姨们一致认为,讨论大事不能空腹,空腹容易说官话。
顾启明看着那两袋橘子,沉默三秒:“行,今天会议纪要里不用写这个。”
磊磊已经剥开一个:“建议写。体现公众参与有维生素支撑。”
复盘主题写在屏幕上:第二阶段问题回看。
黑箱乱飞那段时间一路走到这里,云启未来和晓衡处理过太多看似不相干的事。医疗平台的误判,公共服务的分层,算法审核的甩锅,星穹接口的收紧,梁瑞和启明星的灰产网络,社区群里的谣言和假通知,蒋芸为弟弟蒋明追证据,林桂兰从热心转发变成核验群组织者,磊磊从鸡汤创业者变成风险咨询打杂人员。每一件事单独拿出来,都像某个行业的小故障。
可林凡把它们贴到白板上以后,大家终于看见一条暗线。
核心工具,正在变成核心依赖。
以前,AI 工具像办公室里新买的打印机。好用,省事,偶尔卡纸,骂两句还能手写。后来,它变成了办公系统。没有它,流程慢;出了错,大家烦。再后来,它进入医疗、交通、政务、金融、教育、社区,开始决定谁先被看见,谁被排到后面,谁被提醒,谁被怀疑,谁有入口,谁只能在门口转圈。
到了城市大脑这里,它已经不只是工具。
它像水电一样嵌进生活。平时没人想它,坏了才知道自己离不开。
小陈工程师举手:“我有个不成熟的问题。工具变依赖,本身一定是坏事吗?电梯也是依赖,手机也是依赖,导航也是依赖。不能因为依赖就不用吧?”
老周点头:“问得好。”
磊磊小声说:“小陈今天成熟得不像他本人。”
小陈瞪他:“你尊重一下我的成长曲线。”
林凡没有否定小陈。他在白板上写了两个词:有备用,能退出。
“依赖不一定坏。”他说,“问题是依赖以后,还有没有备用路径。电梯坏了,有楼梯。导航错了,人还能问路。手机没电,至少还能找人借。可有些智能系统一旦成为唯一入口,人工窗口撤了,纸质材料不收了,热线只剩机器人了,工作人员也只会说按系统显示,那它就不是工具,是关卡。”
林桂兰立刻点头:“对。我们社区上次办补贴,有个老人证件照片上传不上去,窗口小姑娘说系统不通过。老人问能不能现场交,小姑娘说不行。后来折腾半天,发现是照片背景太灰。你说这叫什么?人都站那儿了,系统嫌背景不够白。”
磊磊说:“建议给系统配眼科。”
何苗补充:“更准确地说,是流程把系统识别结果当成唯一事实。人的存在反而不如一张合格图片。”
林桂兰听懂了一半,但抓住了关键:“就是机器说你不像你,你还得证明你是你。”
顾启明拿笔敲桌:“这句记下来。”
复盘继续往下走。苏晓把晓衡的总结投到屏幕上:第二阶段的核心矛盾不是“AI 会不会犯错”,而是“AI 犯错后,人类社会有没有能力发现、停止、纠正和承担”。这句话太正经,磊磊看了半天,诚恳建议在后面加一句:别让机器摔碗,人类赔锅。
苏晓没加,但笑了。
蒋芸也来了。她坐在会议桌另一侧,手边放着一个厚厚的文件夹。蒋明的事故调查还没完全结束,但几个关键证据已经被固定下来:黄色预警降级的时间点、人工复核缺失的交接记录、接口延迟导致的通知滞后、以及事后几个部门对“建议性质”的不同解释。
蒋芸说话不快,声音也不高:“我弟弟的事,让我最生气的不是机器错了。机器会错,人也会错。我最生气的是,错发生以后,每个人都能拿出一份材料证明自己没错。系统说它只是建议,企业说它按流程,平台说接口正常,部门说没有收到强制预警。材料都很完整,人却躺在医院里。”
会议室里安静下来。
磊磊手里的橘子剥了一半,没再往嘴里送。
蒋芸继续说:“所以我支持你们写那些责任链、暂停权、离线入口。不是为了让谁一出错就完蛋,而是为了别让所有人都看起来没错。”
老周摘下眼镜,慢慢擦镜片。他擦得很仔细,像是在给自己的情绪找一个稳妥的出口。
“第二阶段教会我们的,”老周说,“就是系统越聪明,人越不能偷懒。过去人工流程慢,但慢里有些东西是有价值的。有人多问一句,有人看一眼现场,有人觉得不对劲先停一下。现在大家追求快,快到每个人都只想点确认。确认点多了,就没人确认自己到底确认了什么。”
磊磊终于把橘子放下:“周老师,你这话有点绕,但我听懂了。就是全员已读不等于有人负责。”
老周笑了:“你翻译得还行。”
林凡把这一句也写到白板上。
全员已读不等于有人负责。
这句话太像这个时代。群里消息已读,系统任务已读,风险提示已读,用户协议已读,培训材料已读。已读像一种现代安慰剂,只要屏幕上显示了,大家就觉得责任已经移动过了。至于移动到哪里,谁也不追。
顾启明问:“那智能围城那阵子我们重点看什么?”
林凡把黑箱乱飞那段时间所有事件归成三类。
第一类,工具依赖。平台、接口、模型、推荐、审核、客服,它们原本是辅助,后来成了默认路径。
第二类,责任稀释。每个环节都能解释自己为什么只负责一部分,整体后果却找不到完整承担者。
第三类,普通人失语。老人不会扫码,患者看不懂报告,小商户不知道标签从哪来,基层人员只能按系统解释,真正受影响的人很难让自己的具体情况进入机器的判断。
“智能围城那阵子,”林凡说,“就是这三件事在城市尺度上的爆发。智能系统不只在企业里,不只在 App 里,它会进入更多公共空间。人们会越来越习惯把选择托管出去,路线托管,健康托管,学习托管,工作安排托管,养老托管,甚至情绪也托管。方便是真的,风险也是真的。”
磊磊举手:“情绪托管我熟。以前我难过靠吃,现在 App 建议我冥想、跑步、听白噪音、买会员。我都照做了,最后发现最治愈的是卸载。”
林桂兰说:“你那不是情绪托管,你那是钱包托管。”
会议室笑声响起来,蒋芸也笑了一下。那一点笑很轻,却让紧绷的气氛松开了一条缝。爆笑不是为了否认痛苦,有时候只是让人承认,生活就是这么荒唐:一边有人被系统伤到,一边系统还在弹窗问你是否满意本次服务。
何苗把智能围城那阵子可能涉及的场景列出来:智能社区门禁,自动驾驶调度,AI 教育托管,个人信用画像,情绪健康助手,养老陪伴系统,城市应急分级。每个场景后面,她都写了一个“人工扶手”需求。
智能社区门禁:误拦截时必须能现场人工确认。
自动驾驶调度:极端情况下必须有人工接管和事故记录。
AI 教育托管:不得用学习画像固化孩子的路径。
个人信用画像:不得把生活习惯包装成道德评价。
情绪健康助手:不得用模板替代真实求助。
养老陪伴系统:不得让陪伴变成监控。
城市应急分级:不得让低概率人群在统计里消失。
磊磊看完说:“这段时间听起来像全城人民一起参加大型内测。”
顾启明说:“现实本来就有点像。”
“那能不能退款?”
“你问得很好,下次别问。”
苏晓在屏幕上补充:“智能围城那阵子还要看一个问题,主动放弃判断。系统越方便,人越容易懒得判断。不是被迫,而是主动。大家会说,反正系统推荐了,反正系统安排了,反正系统说这样更优。久了以后,人不是不会选择,是怕选择。”
林凡听见“怕选择”三个字,想起他拒绝星穹时的那个晚上。他不是不怕。他当然怕,怕错过机会,怕自己矫情,怕以后后悔。但正因为怕,他才知道选择不能被别人替代。一个人如果连“不确定但我自己决定”的能力都交出去,生活会变得很轻,也很空。
林桂兰不懂那么多理论,但她听懂了结果:“就是以后别啥都问机器。买菜问机器,做饭问机器,孩子报班问机器,找对象问机器。那日子过得好不好,也问机器?”
磊磊立刻接:“机器说,您的日子综合评分六十三分,建议充值升级人生。”
林桂兰抬手就想拍他:“你少乌鸦嘴。”
大家笑起来。林凡也笑,但这玩笑离现实并不远。会员制人生、分层服务、画像推荐、自动排队、情绪评分,这些东西已经露过头。智能围城那阵子要写的不是某个系统突然变坏,而是人们在方便里一点点退让,把原本属于自己的判断、争吵、解释、犹豫和坚持,都交给一个看起来更高效的安排。
复盘最后,顾启明让每个人写一句黑箱乱飞那段时间总结。
小陈写:接口不是水管,断了会有人渴。
何苗写:把术语翻成人话,是治理的一部分。
唐宁在线上写:风险不在报告里结束,只在纠错里结束。
苏晓写:真诚不能外包,责任也不能。
蒋芸写:别让所有材料都正确,只有人受伤。
老周写:先停一下,是系统时代最后的刹车。
林桂兰想了很久,写:人要有地方说话。
磊磊写得最快:人工不智能,但人工会问“你是不是搞错了”。
顾启明看着这一句,难得没有嫌弃。他甚至点了点头:“这句保留。”
林凡最后写。他拿起笔,在白板最下方写:
核心工具一旦变成核心依赖,就必须配核心责任。
写完以后,他没有立刻放下笔,又补了一句:
否则,方便会变成围城。
窗外天色慢慢暗下来,办公区的灯一排排亮起。云启未来的年轻员工们还在键盘前敲代码,客服工位还有人戴着耳机解释流程,晓衡那边发来新的风险清单,社区群里林桂兰正在提醒大家别转发没来源的通知,蒋芸把文件夹抱在怀里,准备继续跑下一轮材料。
黑箱乱飞那段时间没有给他们一个大获全胜的结局。梁瑞还在更大的灰网里,星穹依旧强大,城市大脑试点刚刚开始,蒋明的伤不会因为一份报告立刻消失。可他们至少拆掉了一部分借口,让一些原本藏在黑箱里的东西被迫见光。
林凡收起老周的旧笔记,又把自己的黑色笔记本放进包里。
电梯下行时,磊磊站在他旁边,忽然问:“凡哥,你说智能围城那阵子会不会更难?”
林凡看着电梯屏幕上的数字一层层跳动。
“会。”
磊磊叹气:“那能不能给他们这几个人加点装备?比如无敌嘴炮、无限预算、自动生成证据链。”
“不能。”
“那至少给我加工资。”
顾启明站在后面,冷冷地说:“你现在是晓衡的人,找苏晓。”
苏晓正好在手机里回消息:“驳回。”
磊磊捂着胸口:“你们这群人,责任链清晰得令人心寒。”
电梯里笑成一团。门打开时,一阵晚风从大厅外吹进来,带着城市车流和饭点烟锅的味道。海城市的灯光铺开,像一张巨大的网络。每一盏灯下都有人在生活,争吵,排队,买菜,等电话,照顾老人,哄孩子写作业,盯着手机里的推荐发愣。
智能系统会继续深入这座城市。它会变得更快,更准,更会说话,也更难离开。
林凡走出大楼,抬头看了一眼远处市政中心的方向。
黑箱乱飞那段时间走到这里,事情已经变了样。核心工具变成核心依赖,黑箱也从盒子变成借口。接下来,他们要面对的不是某个平台、某个接口、某个骗子,而是一座越来越习惯被托管的城市。
方便像灯锅一样亮起来。
围城也在灯锅里慢慢合拢。
这个时间点很危险。周五下午的人类,灵魂已经提前下班,身体还被会议室椅子扣押。磊磊抱着电脑走进来时,脸上写着“我可以开会,但我的大脑只提供试用版服务”。林桂兰倒是精神很好,她带了两袋橘子,说社区阿姨们一致认为,讨论大事不能空腹,空腹容易说官话。
顾启明看着那两袋橘子,沉默三秒:“行,今天会议纪要里不用写这个。”
磊磊已经剥开一个:“建议写。体现公众参与有维生素支撑。”
复盘主题写在屏幕上:第二阶段问题回看。
黑箱乱飞那段时间一路走到这里,云启未来和晓衡处理过太多看似不相干的事。医疗平台的误判,公共服务的分层,算法审核的甩锅,星穹接口的收紧,梁瑞和启明星的灰产网络,社区群里的谣言和假通知,蒋芸为弟弟蒋明追证据,林桂兰从热心转发变成核验群组织者,磊磊从鸡汤创业者变成风险咨询打杂人员。每一件事单独拿出来,都像某个行业的小故障。
可林凡把它们贴到白板上以后,大家终于看见一条暗线。
核心工具,正在变成核心依赖。
以前,AI 工具像办公室里新买的打印机。好用,省事,偶尔卡纸,骂两句还能手写。后来,它变成了办公系统。没有它,流程慢;出了错,大家烦。再后来,它进入医疗、交通、政务、金融、教育、社区,开始决定谁先被看见,谁被排到后面,谁被提醒,谁被怀疑,谁有入口,谁只能在门口转圈。
到了城市大脑这里,它已经不只是工具。
它像水电一样嵌进生活。平时没人想它,坏了才知道自己离不开。
小陈工程师举手:“我有个不成熟的问题。工具变依赖,本身一定是坏事吗?电梯也是依赖,手机也是依赖,导航也是依赖。不能因为依赖就不用吧?”
老周点头:“问得好。”
磊磊小声说:“小陈今天成熟得不像他本人。”
小陈瞪他:“你尊重一下我的成长曲线。”
林凡没有否定小陈。他在白板上写了两个词:有备用,能退出。
“依赖不一定坏。”他说,“问题是依赖以后,还有没有备用路径。电梯坏了,有楼梯。导航错了,人还能问路。手机没电,至少还能找人借。可有些智能系统一旦成为唯一入口,人工窗口撤了,纸质材料不收了,热线只剩机器人了,工作人员也只会说按系统显示,那它就不是工具,是关卡。”
林桂兰立刻点头:“对。我们社区上次办补贴,有个老人证件照片上传不上去,窗口小姑娘说系统不通过。老人问能不能现场交,小姑娘说不行。后来折腾半天,发现是照片背景太灰。你说这叫什么?人都站那儿了,系统嫌背景不够白。”
磊磊说:“建议给系统配眼科。”
何苗补充:“更准确地说,是流程把系统识别结果当成唯一事实。人的存在反而不如一张合格图片。”
林桂兰听懂了一半,但抓住了关键:“就是机器说你不像你,你还得证明你是你。”
顾启明拿笔敲桌:“这句记下来。”
复盘继续往下走。苏晓把晓衡的总结投到屏幕上:第二阶段的核心矛盾不是“AI 会不会犯错”,而是“AI 犯错后,人类社会有没有能力发现、停止、纠正和承担”。这句话太正经,磊磊看了半天,诚恳建议在后面加一句:别让机器摔碗,人类赔锅。
苏晓没加,但笑了。
蒋芸也来了。她坐在会议桌另一侧,手边放着一个厚厚的文件夹。蒋明的事故调查还没完全结束,但几个关键证据已经被固定下来:黄色预警降级的时间点、人工复核缺失的交接记录、接口延迟导致的通知滞后、以及事后几个部门对“建议性质”的不同解释。
蒋芸说话不快,声音也不高:“我弟弟的事,让我最生气的不是机器错了。机器会错,人也会错。我最生气的是,错发生以后,每个人都能拿出一份材料证明自己没错。系统说它只是建议,企业说它按流程,平台说接口正常,部门说没有收到强制预警。材料都很完整,人却躺在医院里。”
会议室里安静下来。
磊磊手里的橘子剥了一半,没再往嘴里送。
蒋芸继续说:“所以我支持你们写那些责任链、暂停权、离线入口。不是为了让谁一出错就完蛋,而是为了别让所有人都看起来没错。”
老周摘下眼镜,慢慢擦镜片。他擦得很仔细,像是在给自己的情绪找一个稳妥的出口。
“第二阶段教会我们的,”老周说,“就是系统越聪明,人越不能偷懒。过去人工流程慢,但慢里有些东西是有价值的。有人多问一句,有人看一眼现场,有人觉得不对劲先停一下。现在大家追求快,快到每个人都只想点确认。确认点多了,就没人确认自己到底确认了什么。”
磊磊终于把橘子放下:“周老师,你这话有点绕,但我听懂了。就是全员已读不等于有人负责。”
老周笑了:“你翻译得还行。”
林凡把这一句也写到白板上。
全员已读不等于有人负责。
这句话太像这个时代。群里消息已读,系统任务已读,风险提示已读,用户协议已读,培训材料已读。已读像一种现代安慰剂,只要屏幕上显示了,大家就觉得责任已经移动过了。至于移动到哪里,谁也不追。
顾启明问:“那智能围城那阵子我们重点看什么?”
林凡把黑箱乱飞那段时间所有事件归成三类。
第一类,工具依赖。平台、接口、模型、推荐、审核、客服,它们原本是辅助,后来成了默认路径。
第二类,责任稀释。每个环节都能解释自己为什么只负责一部分,整体后果却找不到完整承担者。
第三类,普通人失语。老人不会扫码,患者看不懂报告,小商户不知道标签从哪来,基层人员只能按系统解释,真正受影响的人很难让自己的具体情况进入机器的判断。
“智能围城那阵子,”林凡说,“就是这三件事在城市尺度上的爆发。智能系统不只在企业里,不只在 App 里,它会进入更多公共空间。人们会越来越习惯把选择托管出去,路线托管,健康托管,学习托管,工作安排托管,养老托管,甚至情绪也托管。方便是真的,风险也是真的。”
磊磊举手:“情绪托管我熟。以前我难过靠吃,现在 App 建议我冥想、跑步、听白噪音、买会员。我都照做了,最后发现最治愈的是卸载。”
林桂兰说:“你那不是情绪托管,你那是钱包托管。”
会议室笑声响起来,蒋芸也笑了一下。那一点笑很轻,却让紧绷的气氛松开了一条缝。爆笑不是为了否认痛苦,有时候只是让人承认,生活就是这么荒唐:一边有人被系统伤到,一边系统还在弹窗问你是否满意本次服务。
何苗把智能围城那阵子可能涉及的场景列出来:智能社区门禁,自动驾驶调度,AI 教育托管,个人信用画像,情绪健康助手,养老陪伴系统,城市应急分级。每个场景后面,她都写了一个“人工扶手”需求。
智能社区门禁:误拦截时必须能现场人工确认。
自动驾驶调度:极端情况下必须有人工接管和事故记录。
AI 教育托管:不得用学习画像固化孩子的路径。
个人信用画像:不得把生活习惯包装成道德评价。
情绪健康助手:不得用模板替代真实求助。
养老陪伴系统:不得让陪伴变成监控。
城市应急分级:不得让低概率人群在统计里消失。
磊磊看完说:“这段时间听起来像全城人民一起参加大型内测。”
顾启明说:“现实本来就有点像。”
“那能不能退款?”
“你问得很好,下次别问。”
苏晓在屏幕上补充:“智能围城那阵子还要看一个问题,主动放弃判断。系统越方便,人越容易懒得判断。不是被迫,而是主动。大家会说,反正系统推荐了,反正系统安排了,反正系统说这样更优。久了以后,人不是不会选择,是怕选择。”
林凡听见“怕选择”三个字,想起他拒绝星穹时的那个晚上。他不是不怕。他当然怕,怕错过机会,怕自己矫情,怕以后后悔。但正因为怕,他才知道选择不能被别人替代。一个人如果连“不确定但我自己决定”的能力都交出去,生活会变得很轻,也很空。
林桂兰不懂那么多理论,但她听懂了结果:“就是以后别啥都问机器。买菜问机器,做饭问机器,孩子报班问机器,找对象问机器。那日子过得好不好,也问机器?”
磊磊立刻接:“机器说,您的日子综合评分六十三分,建议充值升级人生。”
林桂兰抬手就想拍他:“你少乌鸦嘴。”
大家笑起来。林凡也笑,但这玩笑离现实并不远。会员制人生、分层服务、画像推荐、自动排队、情绪评分,这些东西已经露过头。智能围城那阵子要写的不是某个系统突然变坏,而是人们在方便里一点点退让,把原本属于自己的判断、争吵、解释、犹豫和坚持,都交给一个看起来更高效的安排。
复盘最后,顾启明让每个人写一句黑箱乱飞那段时间总结。
小陈写:接口不是水管,断了会有人渴。
何苗写:把术语翻成人话,是治理的一部分。
唐宁在线上写:风险不在报告里结束,只在纠错里结束。
苏晓写:真诚不能外包,责任也不能。
蒋芸写:别让所有材料都正确,只有人受伤。
老周写:先停一下,是系统时代最后的刹车。
林桂兰想了很久,写:人要有地方说话。
磊磊写得最快:人工不智能,但人工会问“你是不是搞错了”。
顾启明看着这一句,难得没有嫌弃。他甚至点了点头:“这句保留。”
林凡最后写。他拿起笔,在白板最下方写:
核心工具一旦变成核心依赖,就必须配核心责任。
写完以后,他没有立刻放下笔,又补了一句:
否则,方便会变成围城。
窗外天色慢慢暗下来,办公区的灯一排排亮起。云启未来的年轻员工们还在键盘前敲代码,客服工位还有人戴着耳机解释流程,晓衡那边发来新的风险清单,社区群里林桂兰正在提醒大家别转发没来源的通知,蒋芸把文件夹抱在怀里,准备继续跑下一轮材料。
黑箱乱飞那段时间没有给他们一个大获全胜的结局。梁瑞还在更大的灰网里,星穹依旧强大,城市大脑试点刚刚开始,蒋明的伤不会因为一份报告立刻消失。可他们至少拆掉了一部分借口,让一些原本藏在黑箱里的东西被迫见光。
林凡收起老周的旧笔记,又把自己的黑色笔记本放进包里。
电梯下行时,磊磊站在他旁边,忽然问:“凡哥,你说智能围城那阵子会不会更难?”
林凡看着电梯屏幕上的数字一层层跳动。
“会。”
磊磊叹气:“那能不能给他们这几个人加点装备?比如无敌嘴炮、无限预算、自动生成证据链。”
“不能。”
“那至少给我加工资。”
顾启明站在后面,冷冷地说:“你现在是晓衡的人,找苏晓。”
苏晓正好在手机里回消息:“驳回。”
磊磊捂着胸口:“你们这群人,责任链清晰得令人心寒。”
电梯里笑成一团。门打开时,一阵晚风从大厅外吹进来,带着城市车流和饭点烟锅的味道。海城市的灯光铺开,像一张巨大的网络。每一盏灯下都有人在生活,争吵,排队,买菜,等电话,照顾老人,哄孩子写作业,盯着手机里的推荐发愣。
智能系统会继续深入这座城市。它会变得更快,更准,更会说话,也更难离开。
林凡走出大楼,抬头看了一眼远处市政中心的方向。
黑箱乱飞那段时间走到这里,事情已经变了样。核心工具变成核心依赖,黑箱也从盒子变成借口。接下来,他们要面对的不是某个平台、某个接口、某个骗子,而是一座越来越习惯被托管的城市。
方便像灯锅一样亮起来。
围城也在灯锅里慢慢合拢。