下书看 > 重生1996:我教黄老板做显卡 > 第655章 Out of Memory(显存彻底爆满溢出)

重生1996:我教黄老板做显卡 第655章 Out of Memory(显存彻底爆满溢出)

    老周听完,兴高采烈:

    “写底层汇编?这活儿我们熟啊!交给我们底层组了,三天之内,保证把这二百五十六个专家的通信管道给你们修好,连半毫秒都不带卡的!”

    说干就干!

    整个实验室三十多号人,当场分成了两个突击小组。

    梁文锋带着数学博士组,负责推演moE稀疏切分和动态排队叫号牌的数学公式。

    林念则带着老周他们底层代码组,一头扎进黑色的代码框里,用c语言和汇编指令手搓新架构的底层通信算子。

    接下来的一个礼拜,24楼的实验室里彻底没了白天和黑夜的区别。

    屋里永远亮着日光灯,空气里飘着咖啡味、红牛味,还有杭州知味观外卖盒饭的肉香味。

    林念困了就往行军床上一躺,盖件大衣睡四个钟头,醒了拿冷水洗把脸,抓起吸管喝口奶茶接着敲键盘。

    梁文锋更是个不要命的工作狂,眼镜片后面熬得全是红血丝,手里的白板笔写没水了十几根。

    到了8月30日晚上。

    第一版基于细粒度moE(混合专家稀疏架构)改造出来的瘦身版盘古测试模型,终于在两万张纪元新NpU卡上编译完成了!

    “通了!全编译通了!准备灌数据跑第一轮压力测试!”

    晚上十一点,老周扯着沙哑的嗓子喊了一声。

    所有人都放下了手里的外卖盒饭,乌泱泱地全围到了主控台的大屏幕前面。

    林念坐在最中间的椅子上,深吸一口气,按下了回车键。

    轰隆隆——!

    隔壁机房里,两万张纪元第三代NpU卡同时亮起绿灯,液冷管道里的冷却液飞快流动。

    大屏幕上,一行行测试题被喂进新模型里。

    大家伙儿先看右边的算力消耗表。

    原本一千七百五十亿稠密模型跑起来的时候,单次对话的计算量指针是直接顶到最右边红线区的。

    而现在,换上了每次只唤醒百分之五参数的moE稀疏架构之后,计算量指针咔嚓一下,直接掉到了最左边的绿色小格子里,足足砍掉了百分之八十五的计算功耗!

    “哇塞!成了!计算量真砍下来了!而且回答问题的准确率一点都没掉!”几个年轻博士高兴得差点跳起来鼓掌。

    可是,坐在电脑前的林念和站在旁边的梁文锋,脸上却没有笑出来。

    两人盯着左边另一块监控屏幕。

    那是【NpU显存占用率】的监控表!

    林念开口下令道:

    “老周,别光测这种百十来个字的短对话了!”

    “把难度拉满!模拟一百万个用户同时在线,每个人给它扔一篇三万字的长篇小说或者五十页的公司财报进去,让它做长文本多轮对话测试!”

    “好嘞!”老周赶紧在键盘上敲下指令,把长文本压力包灌了进去。

    压力包刚灌进去不到十秒钟。

    滴——!滴——!滴——!

    左边那块显存监控屏幕上,突然亮起了一大片红灯,发出了急促的报警声!

    只见两万张纪元NpU卡的板载高速显存进度条,从百分之三十,噌噌噌地往上涨!

    百分之六十!

    百分之八十五!

    百分之九十九!

    啪!

    屏幕上直接跳出了一行英文报错:【out of memory(显存彻底爆满溢出)——推理进程被迫中断!】

    原本欢呼雀跃的实验室,一下子安静了下来。

    老周傻了眼,指着屏幕结结巴巴地说道:

    “咋……咋回事啊?!”

    “咱们用moE架构,不是已经把每次干活的参数砍到只剩百分之五了吗?”

    “按理说计算量这么小,芯片应该轻轻松松才对啊,怎么一跑长文章和多轮聊天,显存不到十秒钟就直接撑爆死机了呢?!”

    林念靠在椅背上,叹了口气说道:

    “周大哥,咱们刚才用moE把大胖子切成小专家,那只是解决了动脑子计算费力气的问题。”

    “可咱们还没有解决大模型另一个致命问题,那就是记性太占地方的问题!”

    梁文锋摘下眼镜擦了擦,走到白板前,用红笔在上面写下了另外几个字母:【KV cache(键值缓存)】!

    梁文锋指着这几个字母,给屋里垂头丧气的众人分析起来:

    “大家想想看,大模型在跟人聊天、或者读一篇几万字长文章的时候,它是怎么记住前面说过的话的?”

    “如果它不记住前面的话,它每往外蹦一个新字,就得把前面几万个字重新从头算一遍,那样慢得像蜗牛一样。”

    “所以为了图省事,现在的transformer架构,都是把前面算过的所有字词特征,全都原封不动地存进芯片最昂贵的高速显存里,这玩意儿就叫KV cache(键值缓存)。”

    “在聊短句子的时候,这点缓存看不出来啥,可一旦用户跟它聊上几十句,或者扔给它几万字的代码和文档,这个KV cache就会像滚雪球一样膨胀起来!”

    林念在旁边接过话头,吐槽道:

    “说白了,现在的注意力机制(mhA),存记忆的办法实在是太蠢、太败家了!”

    “它存那些聊天记忆的时候,就跟咱们大冬天收拾行李箱一样,它把一件件蓬松得像大面包一样的羽绒服,连叠都不叠一下,更不往外挤空气,就那么鼓鼓囊囊地直接往行李箱里硬塞!”

    “塞不了两件羽绒服,咱们一张价值几万块钱的NpU显卡显存,就被这些虚头巴脑的记忆缓存给塞得满满当当、当场撑炸了!”

    “显存一撑炸,后面的用户就得排队干等,算力卡全卡在搬运记忆的路上动弹不得,电费成本照样降不下来!”

    听完林念这个比方,屋里所有人全都听懂了。

    原来把大胖子切成小专家,只是砍掉了计算的电费,如果不把这个吃显存的KV cache记忆包袱给砍掉,一旦遇上真实场景里的长对话,算力卡照样得被活活撑死!

    “那……那这玩意儿该怎么砍啊?”

    一个搞数学的博士苦着脸说道:

    “锋哥,林念,这个KV cache里头存的可是上下文的精准记忆!”

    “以前国外也有人试过偷工减料,比如几个注意力头共用一份记忆(mqA/GqA),可那样砍得太狠,相当于把羽绒服的袖子给剪掉了,虽然省了点显存,但模型直接变成老年痴呆了,聊着聊着就把前面的话给忘光了!”

    “既不能让模型变成老年痴呆忘事儿,又要把那一肚子鼓鼓囊囊的记忆缓存给砍掉九成以上……这在数学上完全是不可能完成的任务!”