下书看 > 重生1996:我教黄老板做显卡 > 第647章 不装了

重生1996:我教黄老板做显卡 第647章 不装了

    林念心里暗笑:可不就是吃着图纸长大的嘛,那芯片还是我老爸当年画图的时候,我趴在旁边书桌上看着弄出来的呢!

    这时候,旁边的梁文锋深吸了一口气,看向林念的眼神彻底变了。

    如果说刚才在外面,他还只是觉得这小姑娘机灵、懂点硬件常识。

    那这二十八行代码一出来,梁文锋心里头瞬间明镜似的,眼前这个十九岁的小姑娘,绝对是个在数学和底层计算机架构上百年一遇的顶级怪胎!

    “小林同学,刚才是我眼拙了。”

    梁文锋拉过旁边的一把转椅,直接在林念身边坐了下来,连称呼都变了,满脸兴奋地指着屏幕上的那段矩阵公式说道:

    “你刚才在第14行用的那个矩阵降维折叠办法,思路太巧妙了!”

    “我们之前在做大模型注意力机制计算的时候,也遇到了显存不够用、来回搬运数据太慢的问题。”

    “如果顺着你刚才这个思路,把注意力机制里的键值缓存(KV cache)也用低维度的潜在向量先压扁了存起来,等算的时候再还原,是不是就能省掉一大半的显存了?!”

    林念一听梁文锋居然顺着她那二十八行小代码,一口就说出了她这两天正在琢磨的压缩显存思路,整个人直接从椅子上蹦了起来!

    “对对对!!我这两天也在想这个办法!”

    林念激动得一拍巴掌,连装实习生的事儿都彻底抛到九霄云外去了,抓起桌上的白板笔,转身就在机房旁边的移动白板上刷刷刷地画起了数学公式:

    “梁文锋,你看!现在不管是硅谷的Gpt,还是咱们国内的模型,最讨厌的就是那个稠密架构(dense)!”

    “每次算一句话,不管有用没用,非得把所有的参数全拉出来算一遍,就像让一万个壮汉去抬一根绣花针,太傻了!”

    “我就在想,咱们能不能把一个大胖子模型,在数学上直接切成几百个、甚至上千个小块块,每个小块块只负责干一门手艺?”

    梁文锋一听这话,两只眼睛瞬间亮了起来,一步跨到白板前,从林念手里接过另一支红笔,在她的图旁边飞快地画了一个分流开关:

    “细粒度混合专家架构(moE)!你的意思是不搞大锅饭了,搞精准派活儿!”

    “在最前面加一个路由小开关,用户问数学题,就只叫醒懂数学的那两三个小块块起来干活;用户写古诗,就只叫醒懂语文的小块块,剩下的百分之九十五的参数全让它们在显存里躺着睡觉不耗电!”

    “没错!就是让它们躺着睡觉!”

    林念高兴得差点跳起来,指着梁文锋画的那个开关连连点头:

    “可是如果切成这么碎的小块块,卡和卡之间通信又会堵车,这时候只要再套上你们刚才这套手写的底层汇编通信代码……”

    “那就能把通信堵车的时间彻底抹平,算力消耗最少能砍掉八成以上!”梁文锋直接把林念后半句话给接了过来!

    两人站在白板前面,你一笔,我一笔。

    你写前半段微积分推导,我直接给你补齐后半段底层寄存器分配。

    语速飞快,满嘴全都是什么稀疏矩阵、潜在注意力压缩、负载均衡惩罚函数、汇编算子融合。

    旁边那两个本来还挺傲气的金牌程序员,这会儿端着冰红茶站在后面,听得一愣一愣的,跟听天书一样,脑子都快转筋了。

    而站在不远处的陈博士,看着白板前聊得眉飞色舞、唾沫横飞的两个年轻人,忍不住摸着下巴,欣慰地笑了起来。

    这就叫棋逢对手,将遇良才!

    林念这丫头虽然聪明绝顶,但在北京的时候,周围那些老博士都太顺着她、太守规矩了,没人能跟得上她那跳脱的野路子思维。

    没想到今天跑到杭州这栋写字楼里,居然真让她撞见了梁文锋这么一个同样喜欢剑走偏锋、靠数学和底层代码硬刚物理极限的野生极客知己!

    足足在白板前头比划了半个多钟头,把整块白板写得连个空隙都没有了,林念和梁文锋这才意犹未尽地停下了手里的笔。

    林念长舒了一口气,看着梁文锋,心服口服地竖起了一个大拇指:

    “梁文锋,你这脑子真是太神了!我长这么大,除了我老爸之外,你还是第一个能跟得上我思路、还能反过来给我补漏洞的人!”

    梁文锋把手里的红笔盖上帽,看着眼前这个马尾辫晃来晃去的小姑娘,苦笑着摇了摇头,眼神里全是佩服:

    “这话该我说才对。”

    “不过,咱们聊了这么半天,现在你总该跟我说实话了吧?”

    梁文锋指了指林念脖子上挂着的那个【实习生:小林】的假工牌,笑着说道:

    “如果哪个大学的本科实习生,能随手改出刚才那二十八行神仙一样的底层汇编,还能把千亿大模型的稀疏化架构想得这么透彻,那我们公司这几十个博士,明天就可以集体去跳钱塘江了。”

    “说吧,二位到底是什么人?纪元公司华东售后部,可养不出你们这两尊大佛来。”

    被梁文锋当场拆穿了假身份,林念吐了吐舌头,一点也不尴尬,顺手把脖子上的假工牌摘下来塞进兜里。

    旁边的陈博士走上前,主动伸出手,笑着自我介绍道:

    “梁总果然眼力毒,不装了,我是纪元国内研发中心的总工程师,我姓陈,你可以叫我老陈,这位是我们研发中心核心算法组的负责人,林念。”

    “前两天我们在后台看到杭州这边有人用神乎其神的底层汇编代码,把一万张旧款NpU跑出了极限效率,林念这丫头起了好奇心,非要过来亲眼见见高人,所以才搞了这么一出,梁总别见怪。”

    听到对方居然是纪元国内研发中心的总工和算法总负责人,梁文锋恍然大悟,赶紧伸手跟陈博士握了握:

    “我就说嘛,除了纪元核心研发部的大拿,谁能对五年前一代芯片的隐藏寄存器了如指掌!失敬失敬!”