人工不智能：AI狂飙三十年 第248章 林凡看见更大的风险
林凡把城市大脑试点材料摊在会议桌上时，磊磊刚把一份夜宵外卖拎进门。
外卖袋子上贴着一张商家小票，菜名后面跟着一串备注：少油少盐不要葱，汤另装，米饭半份，筷子两双，老板看心情加点辣椒。磊磊把小票举起来，痛心疾首地说：“你们看，人类吃一顿饭都能提六这条件，城市大脑凭什么觉得一座城市能被几个指标拿捏？”
顾启明本来想批评他上班时间说外卖，低头看见那叠材料，话又咽回去了。
会议室的白板上已经画满了线。交通、医疗、社区、政务窗口、应急调度、公共热线、养老服务，七八个模块像被一根看不见的绳子串在一起。林凡拿红笔画了一圈，圈住“居民异常状态综合评分”，又把线延伸到“社区关怀工单”“医疗随访建议”“窗口优先级调整”“应急资源预留”。
小陈工程师看得眼睛发直：“这是不是有点像……一个人感冒了，结果全公司都给他安排体检、心理辅导、绩效谈话和消防演练？”
磊磊拍桌：“精准！我上次只是咳嗽两声，我妈已经给我安排了相亲。人类母亲才是真正的城市大脑。”
林桂兰坐在旁边嗑瓜子，瓜子壳整齐地放在纸巾上，抬头就怼：“你别往母亲身上甩锅。你咳嗽两声我给你介绍对象，是因为你平时看起来就像快没人管了。”
会议室里笑了一阵，笑完以后，大家又低头看白板。城市大脑这件事，最麻烦的地方就在这里：它不是一个会突然跳出来说“我要控制世界”的怪东西。它由很多看起来很善良的小功能组成，每一个功能都披着“更快一点”“更准一点”“更省事一点”的外衣。
一个系统判断独居老人异常，是为了及时上门。
一个系统判断道路拥堵，是为了调度交通。
一个系统判断社区事件等级，是为了让工作人员先处理紧急问题。
一个系统判断窗口排队优先级，是为了照顾急需办理的人。
单独看，每件事都像好事。可这些好事一旦互相连起来，就会变成一张很大的网。网上每个结点都说自己只是参考，最后被网住的人却会发现，参考多了，就像正式判决。
何苗把材料翻到模拟案例页，念道：“案例三，居民王某，七十二岁，独居。连续三十六小时水表读数异常降低，门禁记录无出入，原定慢病复诊未签到，紧急联系人电话未接。系统建议生成黄色关怀工单，由社区人员上门核验。”
林桂兰点头：“这个要上门。老人真出事了，晚一小时都不行。”
林凡说：“对，所以它有用。”
他没有急着反驳，而是在白板上写下“如果数据错了”五个字。
何苗继续翻下一页：“补充说明，若居民近期存在多次高频求助，或所在楼栋存在风险事件，系统可将工单优先级上调。”
老周把茶杯放下：“谁上调？”
小陈说：“系统根据规则自动上调，人工可以复核。”
老周问：“人工什么时候看？”
小陈一顿：“理论上……工单生成后。”
磊磊举手：“理论上我每天早起，实际上我每天和闹钟互相拉黑。”
没人笑得太大。这个“理论上”太熟悉了。很多事故最后都败在理论上。理论上有人看，理论上能申诉，理论上可暂停，理论上不直接影响权益。理论上像一块万金油，哪里痛就往哪里抹，抹完问题还在，味儿还挺冲。
林凡把模拟案例拆开。他把王某改成“林桂兰楼上磊阿姨”，把“水表读数异常降低”改成“磊阿姨去女儿家住了两天”，把“门禁无出入”改成“门禁系统那天维修，记录补录失败”，把“复诊未签到”改成“她临时改约，医院系统没同步”，把“紧急联系人未接”改成“儿子正在开会，手机静音”。
“在这个版本里，”林凡说，“磊阿姨没有出事，只是数据之间没有互相解释清楚。”
林桂兰立刻接上：“那社区上门也没啥，敲门没人，打电话问问。”
“如果只到这里，问题不大。”林凡又画了这条线，“但工单上调以后，社区系统记录她为‘连续异常需重点关注’。医疗随访系统收到关联提示，把她下次慢病服务排到提前复核。公共服务窗口看见她有重点关怀标签，给她推送养老服务评估。保险类公益项目如果接了城市接口，可能把她放进风险观察名单。每个系统都说自己只是善意提醒，但磊阿姨接下来一周会收到五通电话、两次上门、三条短信，还可能被要求填一堆她看不懂的表。”
磊磊吸了一口凉气：“这不是关怀，这是精准围观。”
苏晓从晓衡那边连线进来，屏幕里她刚从另一个会场出来，外套搭在椅背上，脸上带着那种被 ppt 轰炸过后的冷静麻木。她听完林凡的拆解，说：“更大的风险不是打扰。打扰还能骂人。更危险的是，她以后真的需要服务时，工作人员会不会先看标签？会不会觉得这个人‘经常异常’，于是把真正的异常当成日常噪声？”
会议室安静了一下。
这比错打一个电话更严重。一个系统误判人没事，可能耽误救援；一个系统误判人总有事，可能让真正的求救被看轻。城市级系统的错误不只是“错一次”，它会留下痕迹，变成下一次判断的背景音。
唐宁在连线里补了一句：“风险画像一旦跨系统流动，就会产生身份黏性。人会被自己的历史误差追着跑。”
磊磊小声说：“这话听起来像我花呗账单。”
顾启明揉了揉眉心：“你能不能在严肃时刻少暴露个人财务状况？”
“不能。”磊磊说，“这叫真实用户反馈。”
林凡在白板右侧写下第二个场景：小商户误标。
某家早餐铺因为一次食品投诉被社区风险系统记录，投诉后来查明是隔壁竞争店恶意举报。按理说，记录应该撤销。但如果撤销不彻底，城市大脑里的“风险事件关联”可能会在别的地方冒头。消防检查系统看到它，市场监管系统看到它，街道活动摊位审批也看到它。每个部门都觉得自己只是多留意一下，最后老板发现自己像被一只无形的手按在柜台后面，什么都没被正式处罚，却处处慢半拍。
林桂兰皱眉：“这就像小区里传闲话。一个人说‘我也是听说’，十个人都听说以后，就跟判了似的。”
老周点点头：“城市大脑最怕学会小区闲话。”
何苗把这句话记到笔记里，写完还补了一句括号：很土，但很准。
林凡又写第三个场景：公共热线分流。
居民打热线投诉井盖松动，系统根据关键词判断为“低风险市政问题”，自动派给常规维修队列。与此同时，交通系统因为附近车流量不高，也没有触发优先处理。社区系统看见这片区近期类似投诉较少，判断不是聚集性风险。三套系统各自都没错，但井盖旁边是一所小学，下午四点放学会有一群孩子经过。这个信息在教育系统里，在学校门口保安的经验里，在家长群的担心里，却不一定进入同一个判断链条。
“一处误判，多处响应。”林凡把红笔盖按得咔哒一声响，“更麻烦的是，有时候不是误判，是缺了一块普通人知道、系统不知道的常识。”
磊磊说：“系统知道车流，不知道孩子放学像开闸放水。”
林桂兰说：“系统也不知道哪个井盖平时就响。我们小区那个井盖，一下雨就哐当，大家都知道。”
老周看向林凡：“这些都要进评估。不是让系统什么都知道，而是要承认它不知道。”
这句话让林凡停了几秒。
承认不知道，听起来像一句废话，却是很多智能系统最不愿意做的事。因为宣传片里没有“不知道”，招标书里没有“不确定”，汇报 ppt 里更不能写“我看不懂但我先别瞎判”。可城市不是考试题，不能靠选一个看起来最像答案的选项过关。城市里每个选项后面都站着人，有人要上班，有人要看病，有人等救护车，有人只是想让楼道灯亮起来。
顾启明问：“你想把风险评估怎么改？”
林凡把白板擦出一块空白，写了四行：
第一，跨系统联动必须标明源头。
第二，高影响标签必须有过期时间和撤销通道。
第三，所有“仅供参考”必须说明被谁参考、参考到什么程度。
第四，关键公共服务不得只依赖城市大脑分流。
磊磊读完第四条，认真点头：“翻译一下，就是别把全城人民都塞进一个智能客服里排队。”
苏晓说：“再加一条，公众要能看懂自己为什么被系统找上门。不是给他一份三十页技术报告，是告诉他哪条数据触发了什么动作，他能拿什么材料更正。”
林桂兰立刻说：“材料别光写线上提交。我认识一堆老人，扫码扫得像在给手机看手相。”
何苗笑得差点把笔掉了：“阿姨，这句我也记。”
“你记归记，”林桂兰说，“别最后报告写得跟天书似的。你们年轻人最爱写‘多源异构数据融合’，我一看就想问，异构是哪个小区的？”
会议室又笑了。笑声里，林凡低头看见老周的旧笔记摊在桌边。那本本子已经被翻得边角发软，里面最旧的一页写着一句话：关键事，别只让一个系统知道。
他以前把这句话理解为备份，理解为留证据，理解为事故后能追查。到了城市大脑这里，它变成了更大的提醒：关键事，也别只让一个系统决定。哪怕这个系统叫大脑，它也不是城市本身。城市的记忆在老人嘴里，在保安的巡逻本上，在维修师傅听井盖声音的经验里，在窗口工作人员看见来办事的人脸色发白时递过去的一杯水里。
机器能算出异常，但不一定懂什么叫反常。
机器能推送关怀，但不一定懂什么叫打扰。
机器能分配优先级，但不一定懂谁正在硬撑。
深夜十一点，复盘会还没散。磊磊已经把夜宵吃到只剩两根青菜，顾启明从“老板要保持威严”饿成了“老板也需要碳水”。苏晓那边的屏幕暗了一下又亮起来，她把一份晓衡的初版清单发到群里，文件名叫《城市大脑公众权益风险点-别再写仅供参考版》。
顾启明看见文件名，沉默两秒：“你们咨询公司的交付都这么有情绪吗？”
苏晓说：“正式版会删掉后半句。”
磊磊说：“不删也行，甲方看了更精神。”
林凡没有参与斗嘴。他把白板上的线重新描了一遍。那些线从模块到模块，从数据到决策，从建议到行动，已经连成一张城市神经。过去他们处理的黑箱，很多时候还像一个盒子：盒子错了，找盒子；接口卡了，找接口；平台耍赖，逼它留痕。可现在，盒子变多了，线变密了，每个盒子都躲在线后面，说自己只是城市智慧的一小部分。
这才是更大的风险。
不是某个系统突然作恶，而是所有系统都只负责自己那一小段正确，合在一起却没人负责整体后果。不是某个模型不透明，而是每一层都把责任藏进“复杂”“协同”“试点”“优化”这些好听的词里。等一个普通人被误伤，他面对的不是一个明确的错误按钮，而是一整套互相礼貌转发的流程。
林凡在白板最上方写下新的标题：
城市级依赖风险。
磊磊看了看，举手：“能不能换个通俗点的？这个标题像我大学论文，老师看完都想给我延毕。”
林桂兰把瓜子壳包起来，慢悠悠地说：“就写，别让一个错带着一群错开会。”
老周笑了一声：“这句比你的论文强。”
林凡把标题下面补了一行：
一处误判，多处响应；每处都说自己只是参考。
笔尖落下的时候，会议室的空调发出低低的嗡鸣。窗外的海城市还在运转，车流从高架上滑过去，医院急诊灯亮着，社区值班室有人打哈欠，政务大厅的叫号屏已经熄灭。它们都将被城市大脑连接起来，变得更快、更顺、更像一个整体。
可林凡看见的不是宏大的整体，而是整体里那些容易被淹没的小声音。
他说：“明天开始，我们不只看每个模块对不对，还要看它们连起来以后，会不会把人困住。”
苏晓在屏幕那头点头：“这就是智能围城那阵子真正要打的仗。”
磊磊赶紧翻本子：“我记一下，接下来不是大战人工智障，是大战人工围城。”
顾启明纠正：“别乱起名。”
林桂兰说：“起得挺准。城墙要是看不见，比看得见的还难翻。”
林凡合上老周的笔记本，黑色封皮在灯光下旧得发亮。他忽然明白，黑箱乱飞那段时间里他们拆开的那些黑箱，并没有消失。它们只是被装进了更大的系统里，换了更体面的名字，穿上了城市治理的外套。
黑箱不再像盒子。
它开始像借口。
外卖袋子上贴着一张商家小票，菜名后面跟着一串备注：少油少盐不要葱，汤另装，米饭半份，筷子两双，老板看心情加点辣椒。磊磊把小票举起来，痛心疾首地说：“你们看，人类吃一顿饭都能提六这条件，城市大脑凭什么觉得一座城市能被几个指标拿捏？”
顾启明本来想批评他上班时间说外卖，低头看见那叠材料，话又咽回去了。
会议室的白板上已经画满了线。交通、医疗、社区、政务窗口、应急调度、公共热线、养老服务，七八个模块像被一根看不见的绳子串在一起。林凡拿红笔画了一圈，圈住“居民异常状态综合评分”，又把线延伸到“社区关怀工单”“医疗随访建议”“窗口优先级调整”“应急资源预留”。
小陈工程师看得眼睛发直：“这是不是有点像……一个人感冒了，结果全公司都给他安排体检、心理辅导、绩效谈话和消防演练？”
磊磊拍桌：“精准！我上次只是咳嗽两声，我妈已经给我安排了相亲。人类母亲才是真正的城市大脑。”
林桂兰坐在旁边嗑瓜子，瓜子壳整齐地放在纸巾上，抬头就怼：“你别往母亲身上甩锅。你咳嗽两声我给你介绍对象，是因为你平时看起来就像快没人管了。”
会议室里笑了一阵，笑完以后，大家又低头看白板。城市大脑这件事，最麻烦的地方就在这里：它不是一个会突然跳出来说“我要控制世界”的怪东西。它由很多看起来很善良的小功能组成，每一个功能都披着“更快一点”“更准一点”“更省事一点”的外衣。
一个系统判断独居老人异常，是为了及时上门。
一个系统判断道路拥堵，是为了调度交通。
一个系统判断社区事件等级，是为了让工作人员先处理紧急问题。
一个系统判断窗口排队优先级，是为了照顾急需办理的人。
单独看，每件事都像好事。可这些好事一旦互相连起来，就会变成一张很大的网。网上每个结点都说自己只是参考，最后被网住的人却会发现，参考多了，就像正式判决。
何苗把材料翻到模拟案例页，念道：“案例三，居民王某，七十二岁，独居。连续三十六小时水表读数异常降低，门禁记录无出入，原定慢病复诊未签到，紧急联系人电话未接。系统建议生成黄色关怀工单，由社区人员上门核验。”
林桂兰点头：“这个要上门。老人真出事了，晚一小时都不行。”
林凡说：“对，所以它有用。”
他没有急着反驳，而是在白板上写下“如果数据错了”五个字。
何苗继续翻下一页：“补充说明，若居民近期存在多次高频求助，或所在楼栋存在风险事件，系统可将工单优先级上调。”
老周把茶杯放下：“谁上调？”
小陈说：“系统根据规则自动上调，人工可以复核。”
老周问：“人工什么时候看？”
小陈一顿：“理论上……工单生成后。”
磊磊举手：“理论上我每天早起，实际上我每天和闹钟互相拉黑。”
没人笑得太大。这个“理论上”太熟悉了。很多事故最后都败在理论上。理论上有人看，理论上能申诉，理论上可暂停，理论上不直接影响权益。理论上像一块万金油，哪里痛就往哪里抹，抹完问题还在，味儿还挺冲。
林凡把模拟案例拆开。他把王某改成“林桂兰楼上磊阿姨”，把“水表读数异常降低”改成“磊阿姨去女儿家住了两天”，把“门禁无出入”改成“门禁系统那天维修，记录补录失败”，把“复诊未签到”改成“她临时改约，医院系统没同步”，把“紧急联系人未接”改成“儿子正在开会，手机静音”。
“在这个版本里，”林凡说，“磊阿姨没有出事，只是数据之间没有互相解释清楚。”
林桂兰立刻接上：“那社区上门也没啥，敲门没人，打电话问问。”
“如果只到这里，问题不大。”林凡又画了这条线，“但工单上调以后，社区系统记录她为‘连续异常需重点关注’。医疗随访系统收到关联提示，把她下次慢病服务排到提前复核。公共服务窗口看见她有重点关怀标签，给她推送养老服务评估。保险类公益项目如果接了城市接口，可能把她放进风险观察名单。每个系统都说自己只是善意提醒，但磊阿姨接下来一周会收到五通电话、两次上门、三条短信，还可能被要求填一堆她看不懂的表。”
磊磊吸了一口凉气：“这不是关怀，这是精准围观。”
苏晓从晓衡那边连线进来，屏幕里她刚从另一个会场出来，外套搭在椅背上，脸上带着那种被 ppt 轰炸过后的冷静麻木。她听完林凡的拆解，说：“更大的风险不是打扰。打扰还能骂人。更危险的是，她以后真的需要服务时，工作人员会不会先看标签？会不会觉得这个人‘经常异常’，于是把真正的异常当成日常噪声？”
会议室安静了一下。
这比错打一个电话更严重。一个系统误判人没事，可能耽误救援；一个系统误判人总有事，可能让真正的求救被看轻。城市级系统的错误不只是“错一次”，它会留下痕迹，变成下一次判断的背景音。
唐宁在连线里补了一句：“风险画像一旦跨系统流动，就会产生身份黏性。人会被自己的历史误差追着跑。”
磊磊小声说：“这话听起来像我花呗账单。”
顾启明揉了揉眉心：“你能不能在严肃时刻少暴露个人财务状况？”
“不能。”磊磊说，“这叫真实用户反馈。”
林凡在白板右侧写下第二个场景：小商户误标。
某家早餐铺因为一次食品投诉被社区风险系统记录，投诉后来查明是隔壁竞争店恶意举报。按理说，记录应该撤销。但如果撤销不彻底，城市大脑里的“风险事件关联”可能会在别的地方冒头。消防检查系统看到它，市场监管系统看到它，街道活动摊位审批也看到它。每个部门都觉得自己只是多留意一下，最后老板发现自己像被一只无形的手按在柜台后面，什么都没被正式处罚，却处处慢半拍。
林桂兰皱眉：“这就像小区里传闲话。一个人说‘我也是听说’，十个人都听说以后，就跟判了似的。”
老周点点头：“城市大脑最怕学会小区闲话。”
何苗把这句话记到笔记里，写完还补了一句括号：很土，但很准。
林凡又写第三个场景：公共热线分流。
居民打热线投诉井盖松动，系统根据关键词判断为“低风险市政问题”，自动派给常规维修队列。与此同时，交通系统因为附近车流量不高，也没有触发优先处理。社区系统看见这片区近期类似投诉较少，判断不是聚集性风险。三套系统各自都没错，但井盖旁边是一所小学，下午四点放学会有一群孩子经过。这个信息在教育系统里，在学校门口保安的经验里，在家长群的担心里，却不一定进入同一个判断链条。
“一处误判，多处响应。”林凡把红笔盖按得咔哒一声响，“更麻烦的是，有时候不是误判，是缺了一块普通人知道、系统不知道的常识。”
磊磊说：“系统知道车流，不知道孩子放学像开闸放水。”
林桂兰说：“系统也不知道哪个井盖平时就响。我们小区那个井盖，一下雨就哐当，大家都知道。”
老周看向林凡：“这些都要进评估。不是让系统什么都知道，而是要承认它不知道。”
这句话让林凡停了几秒。
承认不知道，听起来像一句废话，却是很多智能系统最不愿意做的事。因为宣传片里没有“不知道”，招标书里没有“不确定”，汇报 ppt 里更不能写“我看不懂但我先别瞎判”。可城市不是考试题，不能靠选一个看起来最像答案的选项过关。城市里每个选项后面都站着人，有人要上班，有人要看病，有人等救护车，有人只是想让楼道灯亮起来。
顾启明问：“你想把风险评估怎么改？”
林凡把白板擦出一块空白，写了四行：
第一，跨系统联动必须标明源头。
第二，高影响标签必须有过期时间和撤销通道。
第三，所有“仅供参考”必须说明被谁参考、参考到什么程度。
第四，关键公共服务不得只依赖城市大脑分流。
磊磊读完第四条，认真点头：“翻译一下，就是别把全城人民都塞进一个智能客服里排队。”
苏晓说：“再加一条，公众要能看懂自己为什么被系统找上门。不是给他一份三十页技术报告，是告诉他哪条数据触发了什么动作，他能拿什么材料更正。”
林桂兰立刻说：“材料别光写线上提交。我认识一堆老人，扫码扫得像在给手机看手相。”
何苗笑得差点把笔掉了：“阿姨，这句我也记。”
“你记归记，”林桂兰说，“别最后报告写得跟天书似的。你们年轻人最爱写‘多源异构数据融合’，我一看就想问，异构是哪个小区的？”
会议室又笑了。笑声里，林凡低头看见老周的旧笔记摊在桌边。那本本子已经被翻得边角发软，里面最旧的一页写着一句话：关键事，别只让一个系统知道。
他以前把这句话理解为备份，理解为留证据，理解为事故后能追查。到了城市大脑这里，它变成了更大的提醒：关键事，也别只让一个系统决定。哪怕这个系统叫大脑，它也不是城市本身。城市的记忆在老人嘴里，在保安的巡逻本上，在维修师傅听井盖声音的经验里，在窗口工作人员看见来办事的人脸色发白时递过去的一杯水里。
机器能算出异常，但不一定懂什么叫反常。
机器能推送关怀，但不一定懂什么叫打扰。
机器能分配优先级，但不一定懂谁正在硬撑。
深夜十一点，复盘会还没散。磊磊已经把夜宵吃到只剩两根青菜，顾启明从“老板要保持威严”饿成了“老板也需要碳水”。苏晓那边的屏幕暗了一下又亮起来，她把一份晓衡的初版清单发到群里，文件名叫《城市大脑公众权益风险点-别再写仅供参考版》。
顾启明看见文件名，沉默两秒：“你们咨询公司的交付都这么有情绪吗？”
苏晓说：“正式版会删掉后半句。”
磊磊说：“不删也行，甲方看了更精神。”
林凡没有参与斗嘴。他把白板上的线重新描了一遍。那些线从模块到模块，从数据到决策，从建议到行动，已经连成一张城市神经。过去他们处理的黑箱，很多时候还像一个盒子：盒子错了，找盒子；接口卡了，找接口；平台耍赖，逼它留痕。可现在，盒子变多了，线变密了，每个盒子都躲在线后面，说自己只是城市智慧的一小部分。
这才是更大的风险。
不是某个系统突然作恶，而是所有系统都只负责自己那一小段正确，合在一起却没人负责整体后果。不是某个模型不透明，而是每一层都把责任藏进“复杂”“协同”“试点”“优化”这些好听的词里。等一个普通人被误伤，他面对的不是一个明确的错误按钮，而是一整套互相礼貌转发的流程。
林凡在白板最上方写下新的标题：
城市级依赖风险。
磊磊看了看，举手：“能不能换个通俗点的？这个标题像我大学论文，老师看完都想给我延毕。”
林桂兰把瓜子壳包起来，慢悠悠地说：“就写，别让一个错带着一群错开会。”
老周笑了一声：“这句比你的论文强。”
林凡把标题下面补了一行：
一处误判，多处响应；每处都说自己只是参考。
笔尖落下的时候，会议室的空调发出低低的嗡鸣。窗外的海城市还在运转，车流从高架上滑过去，医院急诊灯亮着，社区值班室有人打哈欠，政务大厅的叫号屏已经熄灭。它们都将被城市大脑连接起来，变得更快、更顺、更像一个整体。
可林凡看见的不是宏大的整体，而是整体里那些容易被淹没的小声音。
他说：“明天开始，我们不只看每个模块对不对，还要看它们连起来以后，会不会把人困住。”
苏晓在屏幕那头点头：“这就是智能围城那阵子真正要打的仗。”
磊磊赶紧翻本子：“我记一下，接下来不是大战人工智障，是大战人工围城。”
顾启明纠正：“别乱起名。”
林桂兰说：“起得挺准。城墙要是看不见，比看得见的还难翻。”
林凡合上老周的笔记本，黑色封皮在灯光下旧得发亮。他忽然明白，黑箱乱飞那段时间里他们拆开的那些黑箱，并没有消失。它们只是被装进了更大的系统里，换了更体面的名字，穿上了城市治理的外套。
黑箱不再像盒子。
它开始像借口。