重生1996:我教黄老板做显卡 第655章 Out of Memory(显存彻底爆满溢出)
热门推荐:
航海者:东行记
重生76:我靠生娃打造万亿豪门
蛇影奇缘
国运求生,我靠情报系统养活国家
一剑杀仙:从爆能系统开始
轻风修仙记
开局建立青衣楼,幕后我为尊
配角上位,听说你老婆很香
北方黑道往事
老周听完,兴高采烈:
“写底层汇编?这活儿我们熟啊!交给我们底层组了,三天之内,保证把这二百五十六个专家的通信管道给你们修好,连半毫秒都不带卡的!”
说干就干!
整个实验室三十多号人,当场分成了两个突击小组。
梁文锋带着数学博士组,负责推演moE稀疏切分和动态排队叫号牌的数学公式。
林念则带着老周他们底层代码组,一头扎进黑色的代码框里,用c语言和汇编指令手搓新架构的底层通信算子。
接下来的一个礼拜,24楼的实验室里彻底没了白天和黑夜的区别。
屋里永远亮着日光灯,空气里飘着咖啡味、红牛味,还有杭州知味观外卖盒饭的肉香味。
林念困了就往行军床上一躺,盖件大衣睡四个钟头,醒了拿冷水洗把脸,抓起吸管喝口奶茶接着敲键盘。
梁文锋更是个不要命的工作狂,眼镜片后面熬得全是红血丝,手里的白板笔写没水了十几根。
到了8月30日晚上。
第一版基于细粒度moE(混合专家稀疏架构)改造出来的瘦身版盘古测试模型,终于在两万张纪元新NpU卡上编译完成了!
“通了!全编译通了!准备灌数据跑第一轮压力测试!”
晚上十一点,老周扯着沙哑的嗓子喊了一声。
所有人都放下了手里的外卖盒饭,乌泱泱地全围到了主控台的大屏幕前面。
林念坐在最中间的椅子上,深吸一口气,按下了回车键。
轰隆隆——!
隔壁机房里,两万张纪元第三代NpU卡同时亮起绿灯,液冷管道里的冷却液飞快流动。
大屏幕上,一行行测试题被喂进新模型里。
大家伙儿先看右边的算力消耗表。
原本一千七百五十亿稠密模型跑起来的时候,单次对话的计算量指针是直接顶到最右边红线区的。
而现在,换上了每次只唤醒百分之五参数的moE稀疏架构之后,计算量指针咔嚓一下,直接掉到了最左边的绿色小格子里,足足砍掉了百分之八十五的计算功耗!
“哇塞!成了!计算量真砍下来了!而且回答问题的准确率一点都没掉!”几个年轻博士高兴得差点跳起来鼓掌。
可是,坐在电脑前的林念和站在旁边的梁文锋,脸上却没有笑出来。
两人盯着左边另一块监控屏幕。
那是【NpU显存占用率】的监控表!
林念开口下令道:
“老周,别光测这种百十来个字的短对话了!”
“把难度拉满!模拟一百万个用户同时在线,每个人给它扔一篇三万字的长篇小说或者五十页的公司财报进去,让它做长文本多轮对话测试!”
“好嘞!”老周赶紧在键盘上敲下指令,把长文本压力包灌了进去。
压力包刚灌进去不到十秒钟。
滴——!滴——!滴——!
左边那块显存监控屏幕上,突然亮起了一大片红灯,发出了急促的报警声!
只见两万张纪元NpU卡的板载高速显存进度条,从百分之三十,噌噌噌地往上涨!
百分之六十!
百分之八十五!
百分之九十九!
啪!
屏幕上直接跳出了一行英文报错:【out of memory(显存彻底爆满溢出)——推理进程被迫中断!】
原本欢呼雀跃的实验室,一下子安静了下来。
老周傻了眼,指着屏幕结结巴巴地说道:
“咋……咋回事啊?!”
“咱们用moE架构,不是已经把每次干活的参数砍到只剩百分之五了吗?”
“按理说计算量这么小,芯片应该轻轻松松才对啊,怎么一跑长文章和多轮聊天,显存不到十秒钟就直接撑爆死机了呢?!”
林念靠在椅背上,叹了口气说道:
“周大哥,咱们刚才用moE把大胖子切成小专家,那只是解决了动脑子计算费力气的问题。”
“可咱们还没有解决大模型另一个致命问题,那就是记性太占地方的问题!”
梁文锋摘下眼镜擦了擦,走到白板前,用红笔在上面写下了另外几个字母:【KV cache(键值缓存)】!
梁文锋指着这几个字母,给屋里垂头丧气的众人分析起来:
“大家想想看,大模型在跟人聊天、或者读一篇几万字长文章的时候,它是怎么记住前面说过的话的?”
“如果它不记住前面的话,它每往外蹦一个新字,就得把前面几万个字重新从头算一遍,那样慢得像蜗牛一样。”
“所以为了图省事,现在的transformer架构,都是把前面算过的所有字词特征,全都原封不动地存进芯片最昂贵的高速显存里,这玩意儿就叫KV cache(键值缓存)。”
“在聊短句子的时候,这点缓存看不出来啥,可一旦用户跟它聊上几十句,或者扔给它几万字的代码和文档,这个KV cache就会像滚雪球一样膨胀起来!”
林念在旁边接过话头,吐槽道:
“说白了,现在的注意力机制(mhA),存记忆的办法实在是太蠢、太败家了!”
“它存那些聊天记忆的时候,就跟咱们大冬天收拾行李箱一样,它把一件件蓬松得像大面包一样的羽绒服,连叠都不叠一下,更不往外挤空气,就那么鼓鼓囊囊地直接往行李箱里硬塞!”
“塞不了两件羽绒服,咱们一张价值几万块钱的NpU显卡显存,就被这些虚头巴脑的记忆缓存给塞得满满当当、当场撑炸了!”
“显存一撑炸,后面的用户就得排队干等,算力卡全卡在搬运记忆的路上动弹不得,电费成本照样降不下来!”
听完林念这个比方,屋里所有人全都听懂了。
原来把大胖子切成小专家,只是砍掉了计算的电费,如果不把这个吃显存的KV cache记忆包袱给砍掉,一旦遇上真实场景里的长对话,算力卡照样得被活活撑死!
“那……那这玩意儿该怎么砍啊?”
一个搞数学的博士苦着脸说道:
“锋哥,林念,这个KV cache里头存的可是上下文的精准记忆!”
“以前国外也有人试过偷工减料,比如几个注意力头共用一份记忆(mqA/GqA),可那样砍得太狠,相当于把羽绒服的袖子给剪掉了,虽然省了点显存,但模型直接变成老年痴呆了,聊着聊着就把前面的话给忘光了!”
“既不能让模型变成老年痴呆忘事儿,又要把那一肚子鼓鼓囊囊的记忆缓存给砍掉九成以上……这在数学上完全是不可能完成的任务!”
“写底层汇编?这活儿我们熟啊!交给我们底层组了,三天之内,保证把这二百五十六个专家的通信管道给你们修好,连半毫秒都不带卡的!”
说干就干!
整个实验室三十多号人,当场分成了两个突击小组。
梁文锋带着数学博士组,负责推演moE稀疏切分和动态排队叫号牌的数学公式。
林念则带着老周他们底层代码组,一头扎进黑色的代码框里,用c语言和汇编指令手搓新架构的底层通信算子。
接下来的一个礼拜,24楼的实验室里彻底没了白天和黑夜的区别。
屋里永远亮着日光灯,空气里飘着咖啡味、红牛味,还有杭州知味观外卖盒饭的肉香味。
林念困了就往行军床上一躺,盖件大衣睡四个钟头,醒了拿冷水洗把脸,抓起吸管喝口奶茶接着敲键盘。
梁文锋更是个不要命的工作狂,眼镜片后面熬得全是红血丝,手里的白板笔写没水了十几根。
到了8月30日晚上。
第一版基于细粒度moE(混合专家稀疏架构)改造出来的瘦身版盘古测试模型,终于在两万张纪元新NpU卡上编译完成了!
“通了!全编译通了!准备灌数据跑第一轮压力测试!”
晚上十一点,老周扯着沙哑的嗓子喊了一声。
所有人都放下了手里的外卖盒饭,乌泱泱地全围到了主控台的大屏幕前面。
林念坐在最中间的椅子上,深吸一口气,按下了回车键。
轰隆隆——!
隔壁机房里,两万张纪元第三代NpU卡同时亮起绿灯,液冷管道里的冷却液飞快流动。
大屏幕上,一行行测试题被喂进新模型里。
大家伙儿先看右边的算力消耗表。
原本一千七百五十亿稠密模型跑起来的时候,单次对话的计算量指针是直接顶到最右边红线区的。
而现在,换上了每次只唤醒百分之五参数的moE稀疏架构之后,计算量指针咔嚓一下,直接掉到了最左边的绿色小格子里,足足砍掉了百分之八十五的计算功耗!
“哇塞!成了!计算量真砍下来了!而且回答问题的准确率一点都没掉!”几个年轻博士高兴得差点跳起来鼓掌。
可是,坐在电脑前的林念和站在旁边的梁文锋,脸上却没有笑出来。
两人盯着左边另一块监控屏幕。
那是【NpU显存占用率】的监控表!
林念开口下令道:
“老周,别光测这种百十来个字的短对话了!”
“把难度拉满!模拟一百万个用户同时在线,每个人给它扔一篇三万字的长篇小说或者五十页的公司财报进去,让它做长文本多轮对话测试!”
“好嘞!”老周赶紧在键盘上敲下指令,把长文本压力包灌了进去。
压力包刚灌进去不到十秒钟。
滴——!滴——!滴——!
左边那块显存监控屏幕上,突然亮起了一大片红灯,发出了急促的报警声!
只见两万张纪元NpU卡的板载高速显存进度条,从百分之三十,噌噌噌地往上涨!
百分之六十!
百分之八十五!
百分之九十九!
啪!
屏幕上直接跳出了一行英文报错:【out of memory(显存彻底爆满溢出)——推理进程被迫中断!】
原本欢呼雀跃的实验室,一下子安静了下来。
老周傻了眼,指着屏幕结结巴巴地说道:
“咋……咋回事啊?!”
“咱们用moE架构,不是已经把每次干活的参数砍到只剩百分之五了吗?”
“按理说计算量这么小,芯片应该轻轻松松才对啊,怎么一跑长文章和多轮聊天,显存不到十秒钟就直接撑爆死机了呢?!”
林念靠在椅背上,叹了口气说道:
“周大哥,咱们刚才用moE把大胖子切成小专家,那只是解决了动脑子计算费力气的问题。”
“可咱们还没有解决大模型另一个致命问题,那就是记性太占地方的问题!”
梁文锋摘下眼镜擦了擦,走到白板前,用红笔在上面写下了另外几个字母:【KV cache(键值缓存)】!
梁文锋指着这几个字母,给屋里垂头丧气的众人分析起来:
“大家想想看,大模型在跟人聊天、或者读一篇几万字长文章的时候,它是怎么记住前面说过的话的?”
“如果它不记住前面的话,它每往外蹦一个新字,就得把前面几万个字重新从头算一遍,那样慢得像蜗牛一样。”
“所以为了图省事,现在的transformer架构,都是把前面算过的所有字词特征,全都原封不动地存进芯片最昂贵的高速显存里,这玩意儿就叫KV cache(键值缓存)。”
“在聊短句子的时候,这点缓存看不出来啥,可一旦用户跟它聊上几十句,或者扔给它几万字的代码和文档,这个KV cache就会像滚雪球一样膨胀起来!”
林念在旁边接过话头,吐槽道:
“说白了,现在的注意力机制(mhA),存记忆的办法实在是太蠢、太败家了!”
“它存那些聊天记忆的时候,就跟咱们大冬天收拾行李箱一样,它把一件件蓬松得像大面包一样的羽绒服,连叠都不叠一下,更不往外挤空气,就那么鼓鼓囊囊地直接往行李箱里硬塞!”
“塞不了两件羽绒服,咱们一张价值几万块钱的NpU显卡显存,就被这些虚头巴脑的记忆缓存给塞得满满当当、当场撑炸了!”
“显存一撑炸,后面的用户就得排队干等,算力卡全卡在搬运记忆的路上动弹不得,电费成本照样降不下来!”
听完林念这个比方,屋里所有人全都听懂了。
原来把大胖子切成小专家,只是砍掉了计算的电费,如果不把这个吃显存的KV cache记忆包袱给砍掉,一旦遇上真实场景里的长对话,算力卡照样得被活活撑死!
“那……那这玩意儿该怎么砍啊?”
一个搞数学的博士苦着脸说道:
“锋哥,林念,这个KV cache里头存的可是上下文的精准记忆!”
“以前国外也有人试过偷工减料,比如几个注意力头共用一份记忆(mqA/GqA),可那样砍得太狠,相当于把羽绒服的袖子给剪掉了,虽然省了点显存,但模型直接变成老年痴呆了,聊着聊着就把前面的话给忘光了!”
“既不能让模型变成老年痴呆忘事儿,又要把那一肚子鼓鼓囊囊的记忆缓存给砍掉九成以上……这在数学上完全是不可能完成的任务!”