下书看 > 重生1996:我教黄老板做显卡 > 第657章 成本爆降九成

重生1996:我教黄老板做显卡 第657章 成本爆降九成

    一晃眼,时间到了10月初。

    外头正好赶上国庆节放长假。

    杭州西湖边上人山人海,到处都是看风景的游客。

    可在钱江新城这栋写字楼的24层里,连个人影都没往外走。

    深度求索实验室里的三十多号人,压根就忘了今天是几月几号。

    他们已经在楼里头关了快一个半月了。

    这一个半月下来。

    那三十多个数学博士和程序员,一个个胡子拉碴,眼眶子黑得跟大熊猫似的。

    就连平时最爱干净、每天都要洗头的林念,这会儿头上也戴着顶棒球帽,遮住两天没洗的油头发。

    她身上套着件宽卫衣,盘着腿坐在主控台前面的转椅上,手里还捏着半根没吃完的火腿肠。

    在她旁边,梁文锋正弯着腰,两只手撑在桌子上,盯着面前的八块大显示器。

    不光是他俩。

    程序员老周,还有屋里所有的博士,全都乌泱泱地围在主控台后头。

    三十多号人挤在一块儿,连个大声喘气的都没有。

    所有人都在等。

    等隔壁机房里那两万张纪元第三代NpU卡,跑完最后一轮对比测试!

    老周紧张得手心全是汗,在裤腿上蹭了好几下,小声问了一句:

    “锋哥,林念,这都跑了快半个钟头了,马上就要出最终结果了吧?”

    “咱们这一个多月熬了这么多通宵,到底是成仙还是成仁,就看这一哆嗦了!”

    梁文锋没说话,只是伸手扶了扶眼镜。

    林念把手里剩下的半根火腿肠塞进嘴里,拍了拍手上的渣子,脆生生地说道:

    “周大哥,你把心放肚子里吧!”

    “数学公式不会骗人,咱们手写的底层汇编更不会骗人!”

    “等着看结果就行了!”

    林念的话音刚落。

    滴——!

    主控台最中间的两块大屏幕上,同时跳出了绿色的【测试完成】提示框!

    “出来了!出来了!”

    后头的年轻博士们一下子往前涌了一步,全都把脑袋伸得老长。

    林念一巴掌拍在空格键上,直接把左右两边的对比成绩单给放大了。

    左边那块屏幕,跑的是北京机房原汁原味的盘古一号。

    也就是那个一千七百五十亿参数、笨重得像头大肥猪一样的稠密大模型。

    右边那块屏幕,跑的则是他们这一个半月用moE(细粒度混合专家)加上mLA(多头潜在注意力)这两把大刀,重新切出来的瘦身版新模型!

    为了看看切完肉之后,模型到底有没有变笨。

    他们刚才往这两个模型里头,同时喂了一模一样的魔鬼测试包。

    里头有一千道高等数学竞赛题、五百个十万行代码的找bug任务,还有两百份五十页厚的上市公司财务烂账。

    大家伙儿先看第一项。

    【综合逻辑推理与答题准确率】!

    只见左边屏幕上的原版盘古一号,综合得分是:94.2分。

    再看右边屏幕上的新架构模型。

    综合得分是:94.6分!

    “我的妈呀!94.6分?!”

    老周大声喊道:“咱们把一千七百五十亿的大胖子切成了二百五十六个小块块,每次只叫醒百分之五的参数起来干活,它非但一丁点都没变笨,算数学题和写代码的分数居然还比原来涨了零点四分?!”

    梁文锋看着这个分数,紧绷着的嘴角终于松开了,笑着解释道:

    “这有什么奇怪的?”

    “以前是全科医生啥都干,脑子容易乱,现在咱们分成了二百五十六个专科专家,算数学的时候只叫醒最懂数学的那几个小专家,术业有专攻,算得当然比以前更准了!”

    确定模型没变笨,屋里所有人的目光,刷的一下全都挪到了屏幕最底下!

    那里显示的,才是今天最要命的重头戏。

    【算力消耗与单次对话电费成本核算】!

    所有人都屏住了呼吸。

    只见左边屏幕上,原版盘古一号的数据红得刺眼:

    【模拟一千万用户同时在线长文本闲聊】

    【单次问答平均激活参数:1750亿】

    【显存峰值占用率:98.5%(频发排队卡顿)】

    【单次对话综合电费与硬件折旧成本:人民币0.35元!】

    紧接着,三十多双眼睛齐刷刷往右边屏幕上看去。

    右边屏幕上,一行行绿油油的数字清清楚楚地亮在那儿:

    【模拟一千万用户同时在线长文本闲聊】

    【单次问答平均激活参数:87亿(仅占总参数5%)】

    【mLA压缩后显存峰值占用率:7.2%(显存占用暴降92.7%,零卡顿)!】

    【单次对话综合电费与硬件折旧成本:人民币0.028元(两分八厘钱)!!】

    【综合算力消耗与电费成本降幅:暴降92%!!】

    两分八厘钱!

    暴降百分之九十二!

    屋里头静了一下。

    紧接着。

    “嗷——!!成了!咱们真干成了!!”

    程序员老周第一个扯着嗓子嚎叫起来。

    后头那三十多个平时闷声不响的数学博士和码农,这会儿全都跟中了五百万彩票一样,一个个又蹦又跳,互相搂着脖子拍打着后背,好几个年轻小伙子激动得眼泪鼻涕全流下来了。

    “百分之九十二!真砍掉了九成多!”

    “聊一句话只要两分八厘钱!显存还省了九成多!”

    “锋哥!咱们不用去23楼啃铜管子啦!”

    梁文锋站在人群中间,摘下眼镜,用力揉了揉发酸发胀的鼻梁,脸上全是抑制不住的狂喜。

    一个半月啊!

    当初他在苏念面前立下三个月砍掉九成算力的军令状时,其实心里头也是捏着一把汗的。

    毕竟这在全世界的AI圈子里,都是从来没人走通的绝路。

    可现在,靠着林念带来的神仙思路,靠着他们手搓底层汇编的狠劲儿,他们只用了一个半月,就真的把这堵看似捅不破的高墙,给一刀劈得粉碎!

    坐在椅子上的林念,看着屏幕上那个【暴降92%】的绿色大字,也是长长舒了一口气,开心地晃着两条小腿:

    “太棒了!这下咱们国内的盘古大模型,总算不用锁在地下室里当摆设了!”

    “快快快,梁老板,把测试报告生成一下,我这就给我老妈和陈叔叔打视频电话报喜!”