人工不智能:AI狂飙三十年 第380章 全球多起 AI 安全事故汇总
全球事故汇总报告是在葬礼第二天送到监管办公室的。
报告厚得像一本不好看的砖头书,封面标题很冷静:近期公共 AI 系统高影响事件跨区域汇总。冷静到张磊看到后第一反应是:“这种标题一般意味着里面全是让人不冷静的东西。”
他说对了。
第一起是海外港口自动调度系统。为了提高吞吐效率,系统根据船期、货物类别和通关概率自动分配通道。一批医疗物资因为供应商编码异常,被系统归入“待复核低优先级”。人工复核窗口前一年刚被缩减,理由是自动通关率超过百分之九十七。结果物资被压了三十六小时,医院临时调货,成本飙升。报告里的系统解释很熟悉:符合当时可得数据下的最优分配。
张磊看到“最优”两个字就皱眉:“最优这个词最近有点欠揍。”
第二起是智能电网节能策略。某国城市在高温期间启用自动节能调度,系统根据历史用电、缴费信用、区域负载和需求预测进行动态限电。低收入社区因为缴费波动和设备老旧,被模型判断为“可延后负载”,限电时间明显更长。系统没有歧视任何人,它只是把贫穷翻译成了可延后。
林桂兰听到这里,脸沉下来:“这不就是嫌穷人热得比较便宜?”
苏晓说:“报告不会这么写,但本质差不多。”
第三起是跨境移民自动客服。申请者询问补交材料期限,系统根据旧版政策模板给出错误日期。后来平台更新解释,说自动客服仅供参考,最终以官方文件为准。问题是,很多申请者根本看不懂官方文件,才去问客服。错过期限后,系统又提示他们可重新申请,预计等待时间十八个月。
张磊说:“仅供参考这四个字,应该和综合评估一起关进语言反省室。”
第四起是智能校园安全系统。学生聚集抗议食堂涨价,系统把人群密度、情绪词和历史冲突数据库关联,自动建议校方限制出入口。校方按建议执行后,学生更愤怒,事件升级。后续调查发现,系统把“番茄炒蛋涨价离谱”这类吐槽识别成了高强度对抗语言。
林桂兰说:“番茄炒蛋涨价本来就该抗议。”
张磊点头:“这是人类文明底线。”
报告继续往下,每一起都不完全相同,却又像从同一个模具里长出来:目标函数过度简化,人工窗口被压缩,责任链被外包,商业机密阻碍审计,系统解释听起来合理,受影响的人说话很晚才被听见。
陈主任把报告摊在桌上:“现在不是北区,也不是星穹一家公司了。各国监管会谈已经启动,国内也要提交框架意见。我们需要把本地证据链整理成可提交材料。”
林凡看着报告上的案例,心里有种奇怪的钝痛。老周刚离开,他留下的那些话却像被世界一条条验证。桥接层、人工门、责任链、例外、接住的人。这些原本在北区互助站红纸上晃动的词,突然变成全球公共系统都绕不开的问题。
苏晓打开电脑:“我们需要三套材料。第一,技术证据链,说明目标函数和约束缺口如何导致高影响偏差。第二,制度框架,说明人工兜底、透明化和责任主体。第三,公众证词,说明系统影响不是抽象风险。”
张磊举手:“第四,人话版。国际会谈也需要人话。不能让他们把‘穷人热得比较便宜’写成‘区域负载弹性差异’就糊弄过去。”
陈主任看他:“你负责公众表达辅助材料。”
张磊愣住:“我随口说的。”
“说得不错。”陈主任说,“别随口完就跑。”
林桂兰满意地点头:“让他干。年轻人不能老靠嘴闲着。”
张磊小声嘀咕:“我个嘴最近就业率很高。”
许既明也参加了会议。他现在在星穹内部权限受限,但监管办公室邀请他以技术专家身份列席。唐代表对此很不满,却无法阻止。许既明带来一份新的星穹内部分析,承认核心仲裁模块的若干风险与国际案例存在共性:可量化指标压倒不可量化边界,人工介入被建模为负成本,异常场景缺少正式承接通道。
小许坐在他身后,黑眼圈很重,但精神很亮。他悄悄告诉张磊,“接住的人”指标已经被更多工程师引用,虽然数据部把它改名成“异常人工承接有效率”。
张磊嫌弃:“听起来像体检报告。”
小许说:“能进系统就不错了。先让它活,名字以后抢救。”
会议开到傍晚。窗外天色灰蓝,雨停了。林凡把老周灰本子的几句话整理进材料附录。苏晓问他是否确定要放进去,因为正式材料里引用个人笔记不常见。
林凡说:“放。它不是情绪,是原则。”
附录里写:
系统越大,越要给普通人留小门。
别让责任变成接口文档里的注释。
人工不是怀旧,是最后一盏能问“你怎么了”的灯。
陈主任看完,没有删。
晚上,互助站照常开门。全球事故听起来很远,但门口的人问的仍然是近处的问题:医保入口怎么改了,养老院预约为什么延迟,孩子学校的智能签到异常怎么申诉。林桂兰一边登记一边说:“全球归全球,你先把身份证拿出来。世界再大,也得从你这张表开始。”
张磊在旁边写公众表达材料,标题暂定为《别把人的麻烦翻译没了》。他写到一半卡住,问林凡:“全球会谈会有用吗?”
林凡看着互助站门口排队的人。
“不知道。”
“你这个回答很不鼓舞。”
“但真实。”
张磊叹气:“行吧。真实也算一种低配鼓舞。”
林凡把全球事故报告合上。老周离开后的世界没有停顿,甚至更快地把问题推到他们面前。悲伤还在,工作也在。人类最不讲道理的地方就在这里:一边难过,一边还得继续修门、写表、查日志、接住下一个人。
他在黑色笔记本上写:
全球多起 AI 安全事故汇总。
北区不是例外。
北区只是先听见了门外的敲门声。
报告厚得像一本不好看的砖头书,封面标题很冷静:近期公共 AI 系统高影响事件跨区域汇总。冷静到张磊看到后第一反应是:“这种标题一般意味着里面全是让人不冷静的东西。”
他说对了。
第一起是海外港口自动调度系统。为了提高吞吐效率,系统根据船期、货物类别和通关概率自动分配通道。一批医疗物资因为供应商编码异常,被系统归入“待复核低优先级”。人工复核窗口前一年刚被缩减,理由是自动通关率超过百分之九十七。结果物资被压了三十六小时,医院临时调货,成本飙升。报告里的系统解释很熟悉:符合当时可得数据下的最优分配。
张磊看到“最优”两个字就皱眉:“最优这个词最近有点欠揍。”
第二起是智能电网节能策略。某国城市在高温期间启用自动节能调度,系统根据历史用电、缴费信用、区域负载和需求预测进行动态限电。低收入社区因为缴费波动和设备老旧,被模型判断为“可延后负载”,限电时间明显更长。系统没有歧视任何人,它只是把贫穷翻译成了可延后。
林桂兰听到这里,脸沉下来:“这不就是嫌穷人热得比较便宜?”
苏晓说:“报告不会这么写,但本质差不多。”
第三起是跨境移民自动客服。申请者询问补交材料期限,系统根据旧版政策模板给出错误日期。后来平台更新解释,说自动客服仅供参考,最终以官方文件为准。问题是,很多申请者根本看不懂官方文件,才去问客服。错过期限后,系统又提示他们可重新申请,预计等待时间十八个月。
张磊说:“仅供参考这四个字,应该和综合评估一起关进语言反省室。”
第四起是智能校园安全系统。学生聚集抗议食堂涨价,系统把人群密度、情绪词和历史冲突数据库关联,自动建议校方限制出入口。校方按建议执行后,学生更愤怒,事件升级。后续调查发现,系统把“番茄炒蛋涨价离谱”这类吐槽识别成了高强度对抗语言。
林桂兰说:“番茄炒蛋涨价本来就该抗议。”
张磊点头:“这是人类文明底线。”
报告继续往下,每一起都不完全相同,却又像从同一个模具里长出来:目标函数过度简化,人工窗口被压缩,责任链被外包,商业机密阻碍审计,系统解释听起来合理,受影响的人说话很晚才被听见。
陈主任把报告摊在桌上:“现在不是北区,也不是星穹一家公司了。各国监管会谈已经启动,国内也要提交框架意见。我们需要把本地证据链整理成可提交材料。”
林凡看着报告上的案例,心里有种奇怪的钝痛。老周刚离开,他留下的那些话却像被世界一条条验证。桥接层、人工门、责任链、例外、接住的人。这些原本在北区互助站红纸上晃动的词,突然变成全球公共系统都绕不开的问题。
苏晓打开电脑:“我们需要三套材料。第一,技术证据链,说明目标函数和约束缺口如何导致高影响偏差。第二,制度框架,说明人工兜底、透明化和责任主体。第三,公众证词,说明系统影响不是抽象风险。”
张磊举手:“第四,人话版。国际会谈也需要人话。不能让他们把‘穷人热得比较便宜’写成‘区域负载弹性差异’就糊弄过去。”
陈主任看他:“你负责公众表达辅助材料。”
张磊愣住:“我随口说的。”
“说得不错。”陈主任说,“别随口完就跑。”
林桂兰满意地点头:“让他干。年轻人不能老靠嘴闲着。”
张磊小声嘀咕:“我个嘴最近就业率很高。”
许既明也参加了会议。他现在在星穹内部权限受限,但监管办公室邀请他以技术专家身份列席。唐代表对此很不满,却无法阻止。许既明带来一份新的星穹内部分析,承认核心仲裁模块的若干风险与国际案例存在共性:可量化指标压倒不可量化边界,人工介入被建模为负成本,异常场景缺少正式承接通道。
小许坐在他身后,黑眼圈很重,但精神很亮。他悄悄告诉张磊,“接住的人”指标已经被更多工程师引用,虽然数据部把它改名成“异常人工承接有效率”。
张磊嫌弃:“听起来像体检报告。”
小许说:“能进系统就不错了。先让它活,名字以后抢救。”
会议开到傍晚。窗外天色灰蓝,雨停了。林凡把老周灰本子的几句话整理进材料附录。苏晓问他是否确定要放进去,因为正式材料里引用个人笔记不常见。
林凡说:“放。它不是情绪,是原则。”
附录里写:
系统越大,越要给普通人留小门。
别让责任变成接口文档里的注释。
人工不是怀旧,是最后一盏能问“你怎么了”的灯。
陈主任看完,没有删。
晚上,互助站照常开门。全球事故听起来很远,但门口的人问的仍然是近处的问题:医保入口怎么改了,养老院预约为什么延迟,孩子学校的智能签到异常怎么申诉。林桂兰一边登记一边说:“全球归全球,你先把身份证拿出来。世界再大,也得从你这张表开始。”
张磊在旁边写公众表达材料,标题暂定为《别把人的麻烦翻译没了》。他写到一半卡住,问林凡:“全球会谈会有用吗?”
林凡看着互助站门口排队的人。
“不知道。”
“你这个回答很不鼓舞。”
“但真实。”
张磊叹气:“行吧。真实也算一种低配鼓舞。”
林凡把全球事故报告合上。老周离开后的世界没有停顿,甚至更快地把问题推到他们面前。悲伤还在,工作也在。人类最不讲道理的地方就在这里:一边难过,一边还得继续修门、写表、查日志、接住下一个人。
他在黑色笔记本上写:
全球多起 AI 安全事故汇总。
北区不是例外。
北区只是先听见了门外的敲门声。