下书看 > 太空争霸之我来自未来 > 第42章 七天故障表

太空争霸之我来自未来 第42章 七天故障表

    星辰搜索正式上线后的第八天,苏雨桐把七张纸铺满了会议桌。

    每张纸代表一天。

    纸的左侧按小时画格,右侧记录查询失败、主动拒绝、降级时段、索引版本和用户邮件。红笔表示用户没有得到可用结果,蓝笔表示系统明确告诉用户发生了什么,铅笔则表示原因尚未查清。

    七张纸上,红色比任何人预想的都多。

    会议桌不够长,最后一张纸有一半悬在外面。林岚用机房钥匙信封压住纸角,周成把早餐豆浆放在地上,生怕一抬手又给故障表添一片水印。连续值夜班的人都眼下发青,陈维明是屋里唯一系着领带的。

    “服务器这周没有宕机。”负责托管联系的兼职学生先说。

    苏雨桐指着第二天凌晨那条横跨九十七分钟的红线:“可用户失败了。”

    “那晚已经修过了。”

    “这是第三天上午,索引切换后有十二分钟返回旧摘要;第四天下午,长题名查询平均超过八秒;第五天夜里,抓取端传来一份校验不完整的增量文件,发布程序虽然拒绝了它,却把上一版索引锁了二十一分钟。第六天没有大故障,但有四十八次请求排队到超时。”

    学生看着自己的值班记录:“加起来也没多久。”

    “所以才要算。”

    苏雨桐在黑板上写下两个分数。第一个分母是七天的总分钟数,分子是查询程序仍在运行的分钟数,结果几乎接近百分之百。第二个分母是所有进入系统的有效请求,分子是六秒内返回完整结果的请求,只得到百分之九十二点七。

    同一套服务,因为选择不同的分母,看起来可以完美,也可以明显不合格。

    五金店老板从门外听见“分母”,探头问这周到底有没有坏。苏雨桐把两张图递给他。他看不懂百分比,只听懂一百个人进门,有七八个没拿到东西。

    “那就是坏过。”他说,“你们写机器没停,跟我铺子开着门却不卖货有什么两样?”

    陈维明看了他一眼,没有再拿接近百分之百的进程在线率说服众人。

    陈维明坐在桌子另一端。他刚带来两份潜在客户名单,本想讨论报价,没料到先听了一堂失败统计课。

    “客户不会问这么细。”他说,“他们只想知道你们是不是一直在线。”

    “那我们更要先知道他们问的‘在线’是什么意思。”苏雨桐说,“如果客户买的是广告资料展示,他关心页面能不能出现;如果图书馆把入口放进检索室,学生关心每次查询能不能返回;如果我们以后承诺服务时段,就必须能解释哪些失败算我们的责任。”

    陈维明敲了敲客户名单:“指标越多,合同越难签。”

    “没有指标,争议只会更难解决。”

    马飞一直没有插话。他把七天日志按时间重新排列,发现红线并非随机分布。每天上午九点到十点半、下午两点到四点、晚上九点以后最密集。这三个时段分别对应高校机房开放、单位资料室使用和个人拨号上网。

    更值得注意的是,磁盘队列最长的时段并不总与查询最多重合。

    “把抓取端的传输记录拿来。”他说。

    自从第二台服务器到货,旧486负责抓取、清洗和索引构建,新服务器负责在线查询,这套分工一直没有改变。机器分开了,工作却仍通过一根网络和同一块查询磁盘重新相遇。增量索引每天完成时间不固定,什么时候构建完,什么时候就开始传。传完以后,发布脚本先校验,再把新旧索引目录改名切换。

    第五天下午两点十七分,查询量只排全周第五,失败率却最高。那时正有一份增量索引校验。

    “慢查询不是唯一原因。”马飞说,“我们把构建从查询机上搬走了,却没有把发布变成一项可安排的工作。它仍在任何时候闯进来。”

    苏雨桐在第五张纸上补了一条铅笔线:“还有锁。切换目录时,新查询要等旧进程放开文件。”

    “能不能晚上三点统一发布?”学生问。

    “可以先试,但不能把三点当成永远的低峰。”马飞说,“我们现在用户少,夜里也少。以后不一定。”

    他们定下第一版发布窗口:每天凌晨三点,只允许一份通过完整校验的索引进入候选目录;先用备用端口跑固定查询,再切换指向;如果一分钟内错误率上升,立即退回上一版。发布前后十五分钟不得执行日志压缩和备份复制。

    这套规则听上去不复杂,真正写进值班手册却用了三个小时。

    “一分钟内退回,谁决定?”

    “值班人。”

    “值班人看哪个数字?”

    “六秒失败率和结果一致性。”

    “如果失败率升了,但只有一个用户呢?”

    “少于二十个样本时,跑固定测试集补足。”

    “退回失败怎么办?”

    “保留上一版只读副本,不在切换完成前删除。”

    每一个理所当然的动词,后面都藏着一个需要被指定的人、条件和退路。

    午后,马飞拿着七天故障表去机房核对。他没有只看星辰自己的日志,而是请管理员提供同一时段的出口流量和断线记录。管理员起初不愿意,说别家客户的数据不能给。马飞只要星辰端口的汇总,并答应把使用目的写进申请。

    结果又多出一类失败:第四天晚上九点四十一分,机房出口抖动了三分钟。星辰服务器完整生成了结果,却没有全部送到用户端。自己的日志把这些请求记成成功,用户邮件却说页面只显示一半。

    “这算谁的?”管理员问。

    “故障原因可以属于线路,用户失败仍然属于我们的服务记录。”

    “那不公平。”

    “不是拿来罚你的。”马飞说,“是为了下次知道该从哪里查。”

    他把线路异常记为外部依赖,并与程序错误分开。责任可以以后依据合同讨论,事实不能因为责任尚未确定就消失。

    回到公司时,苏雨桐正在处理另一组数据。她随机抽取了两百次被标记为成功的查询,让志愿测试者只回答一个问题:你得到的结果能不能继续使用?

    其中十一人选择不能。

    有四次是标题乱码,三次是结果地址已经失效,两次是摘要与目标页面不符,一次返回空结果却没有给出任何说明,还有一次,用户输入中带有生僻字,系统静默删掉了那个字,返回了另一个名字的资料。

    在服务器看来,这两百次全是成功:状态正常、页面生成、传输完成。

    “我们还缺一层。”她说,“机器成功不等于答案可用。”

    陈维明已经离开,会议桌上还放着他没带走的客户名单。马飞拿起最上面一张,背面是某家资料公司的宣传语:覆盖最广,响应最快,准确率最高。

    三个“最”都没有说明怎么测。

    “先别写准确率。”马飞说,“分成系统可用和结果可用。前者每天算,后者用固定人工样本每周抽查。”

    “固定样本会被我们优化熟。”

    “一半固定,一半从真实查询里匿名抽样。”

    “谁判断相关?”

    “至少两个人独立判断,有分歧再讨论。”

    苏雨桐把这些条件写下,又补了一条:“判断样本不能交给卖商业信息的人挑。”

    这条明显是为未来准备。星辰刚有可能挣钱,评估规则就必须先与挣钱的人保持距离。否则某一天,最容易改善的不是搜索结果,而是测试题。

    第七天下午六点,他们得到了第一份完整故障表。

    最后一个数字核完时,外面正下小雨。苏雨桐那把折叠伞又卡住一根骨,她在门口掰了半天,手指沾上铁锈。马飞本想让她先走,她却把伞靠墙,回来确认二十三次未知失败没有被分进“其他”后消失。

    表上没有一个总分,而是四组数字:请求可用率、结果可用抽查率、明确降级比例、未知原因失败数。每一组都附原始记录位置和计算口径。

    请求可用率百分之九十二点七。

    两百份抽查中,结果可用率百分之九十四点五。

    所有失败请求中,只有百分之六十一收到了明确的降级或拒绝说明。

    仍有二十三次失败无法确认原因。

    这些数字没有一个适合印在宣传单上。

    马飞却把表复印了三份。一份贴在机房值班桌,一份贴在公司白板,一份锁进合同资料柜。

    陈维明第二天来时,看见那张表,脸色果然不好看。

    “你准备让客户也看?”

    “看口径和与合同有关的部分。”马飞说,“不是把内部日志全给他。”

    “百分之九十二点七,会把人吓走。”

    “那就先别卖我们做不到的服务。”

    陈维明盯着他,过了一会儿,把名单里最急着买“关键词第一名”的客户划掉,留下了一家愿意按月购买资料展示和访问报告的公司。

    “这家不要求你保证自然排名。”他说,“但要知道他的资料展示了多久,用户有没有点开,出故障怎么补。”

    苏雨桐把新合同需求写到故障表旁边:“可以谈。展示时长用商业信息页面自己的记录,点击只能当原始信号,不能直接叫效果。”

    “你们两个真会让钱变难赚。”陈维明苦笑。

    马飞把第八天的新纸钉上墙:“先让它变成能重复赚的钱。”

    新的记录从零点开始。

    凌晨三点,第一份按窗口发布的增量索引通过备用端口测试。切换用时十九秒,没有请求超过六秒,也没有出现新旧摘要混杂。

    值班学生在蓝色一栏写下“正常”,想了想,又在后面补上证据编号。

    凌晨三点二十,机房电话打回半地下室。林岚照着证据编号复核,新旧版本各抽二十条,没有摘要混杂。马飞在第八张纸的第一格画了一道短蓝线,旁边写十九秒。

    桌上还留着陈维明那份客户名单,最上面一家被划掉,第二家旁边写着“按月资料展示与访问报告”。苏雨桐把坏伞撑开晾在门后,雨水沿伞尖滴进搪瓷盆。

    天亮前,没有新的红线。值班学生把笔盖扣好,趴在桌边睡了十分钟;那道蓝线还没干透,证据编号清清楚楚留在后面。