人工不智能：AI狂飙三十年 第117章 老周批评自主纠错神话
老周最讨厌“自主纠错”四个字。
老板在技术会上说，新一代 AI 系统具备自主评估、自主优化、自主纠错能力，未来运维压力会大幅降低。ppt 上画着一个闭环：模型输出、用户反馈、自动评估、参数调整、模型优化。
箭头圆润，颜色清爽，看起来像一个永远不会出事的洗衣机程序。
老周看了三页，举手。
老板的笑容立刻多了一点防备：“老周，你说。”
老周问：“它知道自己错在哪儿吗？”
技术供应商回答：“系统会根据反馈和评估指标自动识别偏差。”
“反馈是谁给的？”
“用户、业务系统和自动评测。”
“用户反馈不全怎么办？业务指标本身有问题怎么办？自动评测用的标准错了怎么办？”
供应商停了一下：“所以我们会持续优化。”
老周冷笑：“你看，最后还是人。”
会议室里有人低头憋笑。
老板说：“老周，我们不是说完全不需要人，是说系统能减轻人工负担。”
老周点头：“减轻可以。别神化。自主纠错听起来像系统会反思，其实多数时候是按人给的指标调整。指标错，它就朝错误方向更努力。”
林凡想起招聘系统。如果企业把“录用后稳定性”当唯一好指标，模型就会越来越偏爱过去那类稳定候选人；如果平台把“点击率”当好指标，推荐系统就会越来越会诱导；如果客服把“减少转人工”当好指标，机器就会更努力把用户留在对话里，直到用户炸。
所谓自主纠错，首先要问：谁定义了错？
会后，老周给 AI 运维治理小组开了个小课。他在白板上写：
模型不会自己长良心。
小吴问：“那它不能根据反馈学吗？”
“能。”老周说，“但反馈不是天降真理。有人懒得反馈，有人乱反馈，有人被系统伤了直接走，有人没资格反馈。你只看留下来的反馈，就像只问没退群的人群聊好不好。”
张磊听到这句，立刻说：“我懂。副业群里没退的人都说老师好，退的人已经被踢了。”
老周点头：“对。幸存者反馈。”
陈茜补充：“客服也是。最生气的人有时直接投诉监管，不在系统满意度里。”
林凡把这些写成“自主纠错风险清单”：反馈偏差、指标偏差、评测集过期、业务目标错误、用户沉默、边缘群体样本不足、错误被短期收益掩盖。
老板看到清单，叹气：“照你们这么说，AI 什么都不能自己干？”
林凡说：“不是不能自己干，是不能自己证明自己干得对。”
老周说：“让模型自证正确，就像让员工自己给自己发年终奖，听着美好，老板不会信。”
老板被噎住。
苏晓远程看了清单，补了一条：纠错过程必须保留版本和影响评估，不能今天模型改了，明天没人知道哪些人被改动影响。
林凡回复：这条很运维。
苏晓：这是风险的基本礼貌。
张磊把这句也想写白板，被苏晓提前发来：不授权。
张磊说：“她对自己语录的风控越来越强。”
自主纠错神话很快被现实打脸。招聘系统为了降低年龄偏差，供应商自动调整了一个经验权重。结果部分资深候选人分数上来了，但应届生被判“项目经验不足”的比例升高。系统像一个不会做饭的人，觉得菜咸了，就疯狂加水，最后汤没味了。
林凡让供应商暂停自动调整，改为灰度测试和人工评估。
供应商说：“这样纠错速度会慢。”
林凡说：“慢一点，总比把新问题当修复上线强。”
老周满意地点头。
晚上，云启未来白板写：
自主纠错不是自我反省，是按指标重新犯错或少犯错。
何苗写：
先问谁定义了错，再问系统会不会改。
张磊写：
模型不会自己长良心。
林凡写：
AI 可以帮忙发现异常，但不能替人决定什么叫正常。
林桂兰看见后，说：“这不就跟家里一样？你小时候自己说知道错了，我也得看你下次还偷不偷钱买游戏卡。”
林凡：“妈，这事能不能别跨卷追责？”
林桂兰：“不能。家庭日志保存期长。”
老周听完，笑得茶差点洒出来。
自主纠错的讨论后来被老板要求写成内部规范。林凡起草时，特意把第一条写得很直：
任何模型自动优化不得直接进入生产环境，必须经过灰度、评估和人工确认。
老板嫌“任何”太绝对，想改成“原则上”。老周看见后，把“原则上”圈出来：“原则上就是出事后的洞。”
项目经理小声说：“但老板喜欢留余地。”
老周说：“停机按钮可以留余地，事故不会。”
最后文件里保留了“必须”。林凡知道这只是一个词，但很多事故就是从一个词松掉开始的。
老周后来把那份规范打印出来，贴在运维小组墙上。小吴问为什么不用电子版，老周说：“电子版改一个字没人知道，纸贴墙上，谁改都得先撕胶带。”
陈茜说：“这叫物理防篡改？”
老周点头：“土，但有效。”
老板路过时嫌纸不好看，老周说：“太好看容易被当文化墙。”
林凡看着那张皱巴巴的规范，突然觉得它比很多精致流程图可靠。至少它丑得很诚实，提醒每个路过的人：自动纠错不是魔法，生产环境也不是试验田。
小吴后来在旁边贴了一张便利贴：
上线前先问一句，错了谁疼？
老板在技术会上说，新一代 AI 系统具备自主评估、自主优化、自主纠错能力，未来运维压力会大幅降低。ppt 上画着一个闭环：模型输出、用户反馈、自动评估、参数调整、模型优化。
箭头圆润，颜色清爽，看起来像一个永远不会出事的洗衣机程序。
老周看了三页，举手。
老板的笑容立刻多了一点防备：“老周，你说。”
老周问：“它知道自己错在哪儿吗？”
技术供应商回答：“系统会根据反馈和评估指标自动识别偏差。”
“反馈是谁给的？”
“用户、业务系统和自动评测。”
“用户反馈不全怎么办？业务指标本身有问题怎么办？自动评测用的标准错了怎么办？”
供应商停了一下：“所以我们会持续优化。”
老周冷笑：“你看，最后还是人。”
会议室里有人低头憋笑。
老板说：“老周，我们不是说完全不需要人，是说系统能减轻人工负担。”
老周点头：“减轻可以。别神化。自主纠错听起来像系统会反思，其实多数时候是按人给的指标调整。指标错，它就朝错误方向更努力。”
林凡想起招聘系统。如果企业把“录用后稳定性”当唯一好指标，模型就会越来越偏爱过去那类稳定候选人；如果平台把“点击率”当好指标，推荐系统就会越来越会诱导；如果客服把“减少转人工”当好指标，机器就会更努力把用户留在对话里，直到用户炸。
所谓自主纠错，首先要问：谁定义了错？
会后，老周给 AI 运维治理小组开了个小课。他在白板上写：
模型不会自己长良心。
小吴问：“那它不能根据反馈学吗？”
“能。”老周说，“但反馈不是天降真理。有人懒得反馈，有人乱反馈，有人被系统伤了直接走，有人没资格反馈。你只看留下来的反馈，就像只问没退群的人群聊好不好。”
张磊听到这句，立刻说：“我懂。副业群里没退的人都说老师好，退的人已经被踢了。”
老周点头：“对。幸存者反馈。”
陈茜补充：“客服也是。最生气的人有时直接投诉监管，不在系统满意度里。”
林凡把这些写成“自主纠错风险清单”：反馈偏差、指标偏差、评测集过期、业务目标错误、用户沉默、边缘群体样本不足、错误被短期收益掩盖。
老板看到清单，叹气：“照你们这么说，AI 什么都不能自己干？”
林凡说：“不是不能自己干，是不能自己证明自己干得对。”
老周说：“让模型自证正确，就像让员工自己给自己发年终奖，听着美好，老板不会信。”
老板被噎住。
苏晓远程看了清单，补了一条：纠错过程必须保留版本和影响评估，不能今天模型改了，明天没人知道哪些人被改动影响。
林凡回复：这条很运维。
苏晓：这是风险的基本礼貌。
张磊把这句也想写白板，被苏晓提前发来：不授权。
张磊说：“她对自己语录的风控越来越强。”
自主纠错神话很快被现实打脸。招聘系统为了降低年龄偏差，供应商自动调整了一个经验权重。结果部分资深候选人分数上来了，但应届生被判“项目经验不足”的比例升高。系统像一个不会做饭的人，觉得菜咸了，就疯狂加水，最后汤没味了。
林凡让供应商暂停自动调整，改为灰度测试和人工评估。
供应商说：“这样纠错速度会慢。”
林凡说：“慢一点，总比把新问题当修复上线强。”
老周满意地点头。
晚上，云启未来白板写：
自主纠错不是自我反省，是按指标重新犯错或少犯错。
何苗写：
先问谁定义了错，再问系统会不会改。
张磊写：
模型不会自己长良心。
林凡写：
AI 可以帮忙发现异常，但不能替人决定什么叫正常。
林桂兰看见后，说：“这不就跟家里一样？你小时候自己说知道错了，我也得看你下次还偷不偷钱买游戏卡。”
林凡：“妈，这事能不能别跨卷追责？”
林桂兰：“不能。家庭日志保存期长。”
老周听完，笑得茶差点洒出来。
自主纠错的讨论后来被老板要求写成内部规范。林凡起草时，特意把第一条写得很直：
任何模型自动优化不得直接进入生产环境，必须经过灰度、评估和人工确认。
老板嫌“任何”太绝对，想改成“原则上”。老周看见后，把“原则上”圈出来：“原则上就是出事后的洞。”
项目经理小声说：“但老板喜欢留余地。”
老周说：“停机按钮可以留余地，事故不会。”
最后文件里保留了“必须”。林凡知道这只是一个词，但很多事故就是从一个词松掉开始的。
老周后来把那份规范打印出来，贴在运维小组墙上。小吴问为什么不用电子版，老周说：“电子版改一个字没人知道，纸贴墙上，谁改都得先撕胶带。”
陈茜说：“这叫物理防篡改？”
老周点头：“土，但有效。”
老板路过时嫌纸不好看，老周说：“太好看容易被当文化墙。”
林凡看着那张皱巴巴的规范，突然觉得它比很多精致流程图可靠。至少它丑得很诚实，提醒每个路过的人：自动纠错不是魔法，生产环境也不是试验田。
小吴后来在旁边贴了一张便利贴：
上线前先问一句，错了谁疼？