太空争霸之我来自未来 第42章 七天故障表
星辰搜索正式上线后的第八天,苏雨桐把七张纸铺满了会议桌。
每张纸代表一天。
纸的左侧按小时画格,右侧记录查询失败、主动拒绝、降级时段、索引版本和用户邮件。红笔表示用户没有得到可用结果,蓝笔表示系统明确告诉用户发生了什么,铅笔则表示原因尚未查清。
七张纸上,红色比任何人预想的都多。
会议桌不够长,最后一张纸有一半悬在外面。林岚用机房钥匙信封压住纸角,周成把早餐豆浆放在地上,生怕一抬手又给故障表添一片水印。连续值夜班的人都眼下发青,陈维明是屋里唯一系着领带的。
“服务器这周没有宕机。”负责托管联系的兼职学生先说。
苏雨桐指着第二天凌晨那条横跨九十七分钟的红线:“可用户失败了。”
“那晚已经修过了。”
“这是第三天上午,索引切换后有十二分钟返回旧摘要;第四天下午,长题名查询平均超过八秒;第五天夜里,抓取端传来一份校验不完整的增量文件,发布程序虽然拒绝了它,却把上一版索引锁了二十一分钟。第六天没有大故障,但有四十八次请求排队到超时。”
学生看着自己的值班记录:“加起来也没多久。”
“所以才要算。”
苏雨桐在黑板上写下两个分数。第一个分母是七天的总分钟数,分子是查询程序仍在运行的分钟数,结果几乎接近百分之百。第二个分母是所有进入系统的有效请求,分子是六秒内返回完整结果的请求,只得到百分之九十二点七。
同一套服务,因为选择不同的分母,看起来可以完美,也可以明显不合格。
五金店老板从门外听见“分母”,探头问这周到底有没有坏。苏雨桐把两张图递给他。他看不懂百分比,只听懂一百个人进门,有七八个没拿到东西。
“那就是坏过。”他说,“你们写机器没停,跟我铺子开着门却不卖货有什么两样?”
陈维明看了他一眼,没有再拿接近百分之百的进程在线率说服众人。
陈维明坐在桌子另一端。他刚带来两份潜在客户名单,本想讨论报价,没料到先听了一堂失败统计课。
“客户不会问这么细。”他说,“他们只想知道你们是不是一直在线。”
“那我们更要先知道他们问的‘在线’是什么意思。”苏雨桐说,“如果客户买的是广告资料展示,他关心页面能不能出现;如果图书馆把入口放进检索室,学生关心每次查询能不能返回;如果我们以后承诺服务时段,就必须能解释哪些失败算我们的责任。”
陈维明敲了敲客户名单:“指标越多,合同越难签。”
“没有指标,争议只会更难解决。”
马飞一直没有插话。他把七天日志按时间重新排列,发现红线并非随机分布。每天上午九点到十点半、下午两点到四点、晚上九点以后最密集。这三个时段分别对应高校机房开放、单位资料室使用和个人拨号上网。
更值得注意的是,磁盘队列最长的时段并不总与查询最多重合。
“把抓取端的传输记录拿来。”他说。
自从第二台服务器到货,旧486负责抓取、清洗和索引构建,新服务器负责在线查询,这套分工一直没有改变。机器分开了,工作却仍通过一根网络和同一块查询磁盘重新相遇。增量索引每天完成时间不固定,什么时候构建完,什么时候就开始传。传完以后,发布脚本先校验,再把新旧索引目录改名切换。
第五天下午两点十七分,查询量只排全周第五,失败率却最高。那时正有一份增量索引校验。
“慢查询不是唯一原因。”马飞说,“我们把构建从查询机上搬走了,却没有把发布变成一项可安排的工作。它仍在任何时候闯进来。”
苏雨桐在第五张纸上补了一条铅笔线:“还有锁。切换目录时,新查询要等旧进程放开文件。”
“能不能晚上三点统一发布?”学生问。
“可以先试,但不能把三点当成永远的低峰。”马飞说,“我们现在用户少,夜里也少。以后不一定。”
他们定下第一版发布窗口:每天凌晨三点,只允许一份通过完整校验的索引进入候选目录;先用备用端口跑固定查询,再切换指向;如果一分钟内错误率上升,立即退回上一版。发布前后十五分钟不得执行日志压缩和备份复制。
这套规则听上去不复杂,真正写进值班手册却用了三个小时。
“一分钟内退回,谁决定?”
“值班人。”
“值班人看哪个数字?”
“六秒失败率和结果一致性。”
“如果失败率升了,但只有一个用户呢?”
“少于二十个样本时,跑固定测试集补足。”
“退回失败怎么办?”
“保留上一版只读副本,不在切换完成前删除。”
每一个理所当然的动词,后面都藏着一个需要被指定的人、条件和退路。
午后,马飞拿着七天故障表去机房核对。他没有只看星辰自己的日志,而是请管理员提供同一时段的出口流量和断线记录。管理员起初不愿意,说别家客户的数据不能给。马飞只要星辰端口的汇总,并答应把使用目的写进申请。
结果又多出一类失败:第四天晚上九点四十一分,机房出口抖动了三分钟。星辰服务器完整生成了结果,却没有全部送到用户端。自己的日志把这些请求记成成功,用户邮件却说页面只显示一半。
“这算谁的?”管理员问。
“故障原因可以属于线路,用户失败仍然属于我们的服务记录。”
“那不公平。”
“不是拿来罚你的。”马飞说,“是为了下次知道该从哪里查。”
他把线路异常记为外部依赖,并与程序错误分开。责任可以以后依据合同讨论,事实不能因为责任尚未确定就消失。
回到公司时,苏雨桐正在处理另一组数据。她随机抽取了两百次被标记为成功的查询,让志愿测试者只回答一个问题:你得到的结果能不能继续使用?
其中十一人选择不能。
有四次是标题乱码,三次是结果地址已经失效,两次是摘要与目标页面不符,一次返回空结果却没有给出任何说明,还有一次,用户输入中带有生僻字,系统静默删掉了那个字,返回了另一个名字的资料。
在服务器看来,这两百次全是成功:状态正常、页面生成、传输完成。
“我们还缺一层。”她说,“机器成功不等于答案可用。”
陈维明已经离开,会议桌上还放着他没带走的客户名单。马飞拿起最上面一张,背面是某家资料公司的宣传语:覆盖最广,响应最快,准确率最高。
三个“最”都没有说明怎么测。
“先别写准确率。”马飞说,“分成系统可用和结果可用。前者每天算,后者用固定人工样本每周抽查。”
“固定样本会被我们优化熟。”
“一半固定,一半从真实查询里匿名抽样。”
“谁判断相关?”
“至少两个人独立判断,有分歧再讨论。”
苏雨桐把这些条件写下,又补了一条:“判断样本不能交给卖商业信息的人挑。”
这条明显是为未来准备。星辰刚有可能挣钱,评估规则就必须先与挣钱的人保持距离。否则某一天,最容易改善的不是搜索结果,而是测试题。
第七天下午六点,他们得到了第一份完整故障表。
最后一个数字核完时,外面正下小雨。苏雨桐那把折叠伞又卡住一根骨,她在门口掰了半天,手指沾上铁锈。马飞本想让她先走,她却把伞靠墙,回来确认二十三次未知失败没有被分进“其他”后消失。
表上没有一个总分,而是四组数字:请求可用率、结果可用抽查率、明确降级比例、未知原因失败数。每一组都附原始记录位置和计算口径。
请求可用率百分之九十二点七。
两百份抽查中,结果可用率百分之九十四点五。
所有失败请求中,只有百分之六十一收到了明确的降级或拒绝说明。
仍有二十三次失败无法确认原因。
这些数字没有一个适合印在宣传单上。
马飞却把表复印了三份。一份贴在机房值班桌,一份贴在公司白板,一份锁进合同资料柜。
陈维明第二天来时,看见那张表,脸色果然不好看。
“你准备让客户也看?”
“看口径和与合同有关的部分。”马飞说,“不是把内部日志全给他。”
“百分之九十二点七,会把人吓走。”
“那就先别卖我们做不到的服务。”
陈维明盯着他,过了一会儿,把名单里最急着买“关键词第一名”的客户划掉,留下了一家愿意按月购买资料展示和访问报告的公司。
“这家不要求你保证自然排名。”他说,“但要知道他的资料展示了多久,用户有没有点开,出故障怎么补。”
苏雨桐把新合同需求写到故障表旁边:“可以谈。展示时长用商业信息页面自己的记录,点击只能当原始信号,不能直接叫效果。”
“你们两个真会让钱变难赚。”陈维明苦笑。
马飞把第八天的新纸钉上墙:“先让它变成能重复赚的钱。”
新的记录从零点开始。
凌晨三点,第一份按窗口发布的增量索引通过备用端口测试。切换用时十九秒,没有请求超过六秒,也没有出现新旧摘要混杂。
值班学生在蓝色一栏写下“正常”,想了想,又在后面补上证据编号。
凌晨三点二十,机房电话打回半地下室。林岚照着证据编号复核,新旧版本各抽二十条,没有摘要混杂。马飞在第八张纸的第一格画了一道短蓝线,旁边写十九秒。
桌上还留着陈维明那份客户名单,最上面一家被划掉,第二家旁边写着“按月资料展示与访问报告”。苏雨桐把坏伞撑开晾在门后,雨水沿伞尖滴进搪瓷盆。
天亮前,没有新的红线。值班学生把笔盖扣好,趴在桌边睡了十分钟;那道蓝线还没干透,证据编号清清楚楚留在后面。
每张纸代表一天。
纸的左侧按小时画格,右侧记录查询失败、主动拒绝、降级时段、索引版本和用户邮件。红笔表示用户没有得到可用结果,蓝笔表示系统明确告诉用户发生了什么,铅笔则表示原因尚未查清。
七张纸上,红色比任何人预想的都多。
会议桌不够长,最后一张纸有一半悬在外面。林岚用机房钥匙信封压住纸角,周成把早餐豆浆放在地上,生怕一抬手又给故障表添一片水印。连续值夜班的人都眼下发青,陈维明是屋里唯一系着领带的。
“服务器这周没有宕机。”负责托管联系的兼职学生先说。
苏雨桐指着第二天凌晨那条横跨九十七分钟的红线:“可用户失败了。”
“那晚已经修过了。”
“这是第三天上午,索引切换后有十二分钟返回旧摘要;第四天下午,长题名查询平均超过八秒;第五天夜里,抓取端传来一份校验不完整的增量文件,发布程序虽然拒绝了它,却把上一版索引锁了二十一分钟。第六天没有大故障,但有四十八次请求排队到超时。”
学生看着自己的值班记录:“加起来也没多久。”
“所以才要算。”
苏雨桐在黑板上写下两个分数。第一个分母是七天的总分钟数,分子是查询程序仍在运行的分钟数,结果几乎接近百分之百。第二个分母是所有进入系统的有效请求,分子是六秒内返回完整结果的请求,只得到百分之九十二点七。
同一套服务,因为选择不同的分母,看起来可以完美,也可以明显不合格。
五金店老板从门外听见“分母”,探头问这周到底有没有坏。苏雨桐把两张图递给他。他看不懂百分比,只听懂一百个人进门,有七八个没拿到东西。
“那就是坏过。”他说,“你们写机器没停,跟我铺子开着门却不卖货有什么两样?”
陈维明看了他一眼,没有再拿接近百分之百的进程在线率说服众人。
陈维明坐在桌子另一端。他刚带来两份潜在客户名单,本想讨论报价,没料到先听了一堂失败统计课。
“客户不会问这么细。”他说,“他们只想知道你们是不是一直在线。”
“那我们更要先知道他们问的‘在线’是什么意思。”苏雨桐说,“如果客户买的是广告资料展示,他关心页面能不能出现;如果图书馆把入口放进检索室,学生关心每次查询能不能返回;如果我们以后承诺服务时段,就必须能解释哪些失败算我们的责任。”
陈维明敲了敲客户名单:“指标越多,合同越难签。”
“没有指标,争议只会更难解决。”
马飞一直没有插话。他把七天日志按时间重新排列,发现红线并非随机分布。每天上午九点到十点半、下午两点到四点、晚上九点以后最密集。这三个时段分别对应高校机房开放、单位资料室使用和个人拨号上网。
更值得注意的是,磁盘队列最长的时段并不总与查询最多重合。
“把抓取端的传输记录拿来。”他说。
自从第二台服务器到货,旧486负责抓取、清洗和索引构建,新服务器负责在线查询,这套分工一直没有改变。机器分开了,工作却仍通过一根网络和同一块查询磁盘重新相遇。增量索引每天完成时间不固定,什么时候构建完,什么时候就开始传。传完以后,发布脚本先校验,再把新旧索引目录改名切换。
第五天下午两点十七分,查询量只排全周第五,失败率却最高。那时正有一份增量索引校验。
“慢查询不是唯一原因。”马飞说,“我们把构建从查询机上搬走了,却没有把发布变成一项可安排的工作。它仍在任何时候闯进来。”
苏雨桐在第五张纸上补了一条铅笔线:“还有锁。切换目录时,新查询要等旧进程放开文件。”
“能不能晚上三点统一发布?”学生问。
“可以先试,但不能把三点当成永远的低峰。”马飞说,“我们现在用户少,夜里也少。以后不一定。”
他们定下第一版发布窗口:每天凌晨三点,只允许一份通过完整校验的索引进入候选目录;先用备用端口跑固定查询,再切换指向;如果一分钟内错误率上升,立即退回上一版。发布前后十五分钟不得执行日志压缩和备份复制。
这套规则听上去不复杂,真正写进值班手册却用了三个小时。
“一分钟内退回,谁决定?”
“值班人。”
“值班人看哪个数字?”
“六秒失败率和结果一致性。”
“如果失败率升了,但只有一个用户呢?”
“少于二十个样本时,跑固定测试集补足。”
“退回失败怎么办?”
“保留上一版只读副本,不在切换完成前删除。”
每一个理所当然的动词,后面都藏着一个需要被指定的人、条件和退路。
午后,马飞拿着七天故障表去机房核对。他没有只看星辰自己的日志,而是请管理员提供同一时段的出口流量和断线记录。管理员起初不愿意,说别家客户的数据不能给。马飞只要星辰端口的汇总,并答应把使用目的写进申请。
结果又多出一类失败:第四天晚上九点四十一分,机房出口抖动了三分钟。星辰服务器完整生成了结果,却没有全部送到用户端。自己的日志把这些请求记成成功,用户邮件却说页面只显示一半。
“这算谁的?”管理员问。
“故障原因可以属于线路,用户失败仍然属于我们的服务记录。”
“那不公平。”
“不是拿来罚你的。”马飞说,“是为了下次知道该从哪里查。”
他把线路异常记为外部依赖,并与程序错误分开。责任可以以后依据合同讨论,事实不能因为责任尚未确定就消失。
回到公司时,苏雨桐正在处理另一组数据。她随机抽取了两百次被标记为成功的查询,让志愿测试者只回答一个问题:你得到的结果能不能继续使用?
其中十一人选择不能。
有四次是标题乱码,三次是结果地址已经失效,两次是摘要与目标页面不符,一次返回空结果却没有给出任何说明,还有一次,用户输入中带有生僻字,系统静默删掉了那个字,返回了另一个名字的资料。
在服务器看来,这两百次全是成功:状态正常、页面生成、传输完成。
“我们还缺一层。”她说,“机器成功不等于答案可用。”
陈维明已经离开,会议桌上还放着他没带走的客户名单。马飞拿起最上面一张,背面是某家资料公司的宣传语:覆盖最广,响应最快,准确率最高。
三个“最”都没有说明怎么测。
“先别写准确率。”马飞说,“分成系统可用和结果可用。前者每天算,后者用固定人工样本每周抽查。”
“固定样本会被我们优化熟。”
“一半固定,一半从真实查询里匿名抽样。”
“谁判断相关?”
“至少两个人独立判断,有分歧再讨论。”
苏雨桐把这些条件写下,又补了一条:“判断样本不能交给卖商业信息的人挑。”
这条明显是为未来准备。星辰刚有可能挣钱,评估规则就必须先与挣钱的人保持距离。否则某一天,最容易改善的不是搜索结果,而是测试题。
第七天下午六点,他们得到了第一份完整故障表。
最后一个数字核完时,外面正下小雨。苏雨桐那把折叠伞又卡住一根骨,她在门口掰了半天,手指沾上铁锈。马飞本想让她先走,她却把伞靠墙,回来确认二十三次未知失败没有被分进“其他”后消失。
表上没有一个总分,而是四组数字:请求可用率、结果可用抽查率、明确降级比例、未知原因失败数。每一组都附原始记录位置和计算口径。
请求可用率百分之九十二点七。
两百份抽查中,结果可用率百分之九十四点五。
所有失败请求中,只有百分之六十一收到了明确的降级或拒绝说明。
仍有二十三次失败无法确认原因。
这些数字没有一个适合印在宣传单上。
马飞却把表复印了三份。一份贴在机房值班桌,一份贴在公司白板,一份锁进合同资料柜。
陈维明第二天来时,看见那张表,脸色果然不好看。
“你准备让客户也看?”
“看口径和与合同有关的部分。”马飞说,“不是把内部日志全给他。”
“百分之九十二点七,会把人吓走。”
“那就先别卖我们做不到的服务。”
陈维明盯着他,过了一会儿,把名单里最急着买“关键词第一名”的客户划掉,留下了一家愿意按月购买资料展示和访问报告的公司。
“这家不要求你保证自然排名。”他说,“但要知道他的资料展示了多久,用户有没有点开,出故障怎么补。”
苏雨桐把新合同需求写到故障表旁边:“可以谈。展示时长用商业信息页面自己的记录,点击只能当原始信号,不能直接叫效果。”
“你们两个真会让钱变难赚。”陈维明苦笑。
马飞把第八天的新纸钉上墙:“先让它变成能重复赚的钱。”
新的记录从零点开始。
凌晨三点,第一份按窗口发布的增量索引通过备用端口测试。切换用时十九秒,没有请求超过六秒,也没有出现新旧摘要混杂。
值班学生在蓝色一栏写下“正常”,想了想,又在后面补上证据编号。
凌晨三点二十,机房电话打回半地下室。林岚照着证据编号复核,新旧版本各抽二十条,没有摘要混杂。马飞在第八张纸的第一格画了一道短蓝线,旁边写十九秒。
桌上还留着陈维明那份客户名单,最上面一家被划掉,第二家旁边写着“按月资料展示与访问报告”。苏雨桐把坏伞撑开晾在门后,雨水沿伞尖滴进搪瓷盆。
天亮前,没有新的红线。值班学生把笔盖扣好,趴在桌边睡了十分钟;那道蓝线还没干透,证据编号清清楚楚留在后面。