重生1996:我教黄老板做显卡 第646章 你确定你是大学实习生?
热门推荐:
轻风修仙记
开局建立青衣楼,幕后我为尊
配角上位,听说你老婆很香
北方黑道往事
财阀小甜妻:老公,乖乖宠我
熊族崛起拖后腿熊熊搞笑日记
异界入侵?一把抓住炼化成游戏!
凡骨逆天:系统助我踏九霄
起手叠加亿万倍,邪神也得乖乖跪
林念脑子里瞬间闪过了她老爸林哲的身影!
小时候在硅谷家里,老爸教她写代码的时候,最爱念叨的一句话就是:
“小念,别太迷信那些花里胡哨的高级框架,那都是给懒人准备的拐杖,真正的高手,闭着眼睛都能直接锁死底层的物理内存寄存器!”
这几年,林念在硅谷和北京,见多了那些大公司的顶尖AI博士。
不管是旧金山那个光头伊利亚,还是国内bAt大厂里的首席科学家。
那帮人全都被老爸和老黄充足的显卡给惯坏了。
遇到模型跑得慢,他们从来不去想是不是自己的代码写得太啰嗦、是不是底层通信有浪费,他们唯一的办法就是伸手找老板要钱:“再给我加五万张新显卡!”
那是典型的富家子弟打法,讲究的是拿钱砸人、大力出奇迹。
而今天,在杭州这间连机柜都买不起、只能用超市货架和暖气铜管搭起来的破机房里。
林念居然见到了另外一帮人!
这帮人因为穷、因为买不起好卡,被逼到了墙角,结果他们居然走上了跟老爸当年一模一样的路子。
靠着变态一样的底层代码功底和数学头脑,把一堆没人要的破铜烂铁,硬生生磨成了削铁如泥的飞刀!
林念顿时兴奋不已,彻底忘了自己脖子上还挂着“大学实习生小林”的假工牌,也忘了来之前跟陈博士对好的低调剧本。
林念重新转过头,把脸贴到了第三块大屏幕前面,一眨不眨地盯着上面正在运行的算子调度代码看。
看了一会儿。
林念突然伸出手指头,点在了第三块屏幕中间的一段代码上,开口道:
“梁老板,你们这套手写的底层汇编确实牛,我已经好久没见过写得这么干净的寄存器直接寻址了!”
“不过,你们这第408行到第435行的矩阵切分算子,写得还是有一点点小瑕疵哦!”
啥?有瑕疵?
原本正坐在椅子上喝冰红茶的程序员,一听这话,当场就不乐意了。
这哥们叫老周,以前拿过国际大学生程序设计竞赛的金牌,是幻方里头写底层汇编的一把好手。
老周把冰红茶往桌上一放,皱着眉头抬头看了林念一眼:
“小妹妹,话可不能乱说啊!”
“这段异构矩阵切分算子,是我带着三个人熬了两个礼拜才抠出来的,都已经把通信效率干到百分之九十八点一了,哪来的瑕疵?”
梁文锋也有些好奇地走过来,看着林念问道:“是啊小林同学,百分之九十八点一,差不多已经是pcIe接口的物理极限了,还能怎么改?”
林念指着屏幕,自信的说道:
“你们看这儿!”
“你们这机房里,是六千张纪元一代NpU,混搭了三千多张英伟达的二手旧显卡。”
“这位大哥在写第408行代码的时候,为了照顾那批二手显卡的显存延迟,用了一个固定步长的等待周期。”
“可是你们不知道,我们纪元一代NpU芯片的L1一级缓存里头,其实藏着一个当年没写进公开说明书里的硬件级微秒预取开关!”
“你们没打开这个隐藏开关,导致纪元的NpU每次把矩阵算完传给隔壁二手显卡的时候,寄存器都在那儿白白空转等待了零点八微秒!”
“就是这零点八微秒的空转,吃掉了你们最后百分之一的极限性能,还让芯片多费了不少电!”
林念这几句话一出口。
旁边的程序员老周,还有站在后头的梁文锋,两个人顿时目瞪口呆!
纪元一代NpU芯片里头,藏着一个没写进说明书的隐藏硬件开关?!
还有零点八微秒的寄存器空转?!
老周猛地转过头看向电脑屏幕上的波形图,把时间轴放大了一百倍仔细一瞧……
我的亲娘哎!
在那条绿色的数据波形图最底下,每次跨卡传输的时候,还真有一个细得几乎看不见的小锯齿台阶,不多不少,正好卡了零点八微秒!
他们之前一直以为那是二手显卡硬件老化带来的物理损耗,压根没想到是纪元NpU的隐藏缓存开关没打开!
“这……这你都能看出来?!”老周震惊得从椅子上站了起来。
林念这会儿手痒得不行,看到好代码不改完,她浑身都觉得刺挠。
她直接把双肩包往陈博士怀里一塞,冲着老周摆了摆手:“大哥,你先让一下,光拿嘴说太麻烦了,我直接上手给你们改一下试试!”
说完,林念一屁股坐进了老周刚让出来的办公椅里,两只白嫩的小手,直接搭上了键盘!
站在旁边的陈博士张了张嘴,想提醒她别忘了自己是个普通实习生的人设。
可转念一想,反正这屋里也没外人,由着这丫头折腾去吧,陈博士干脆背着手在旁边笑眯眯地看起了戏。
只见林念坐在电脑前,连鼠标都没碰一下。
她两只手十根手指头,在机械键盘上瞬间化作了一片残影!
噼里啪啦——!!
青轴键盘的敲击声,在机房里响了起来!
她根本不需要查任何参考文档,一行行极其刁钻、连老周都没见过的底层机器微指令,直接从她指尖飞快地流进了黑色的代码框里!
梁文锋站在林念身后,弯着腰,盯着屏幕上飞快跳出来的代码。
刚开始他还看得懂,可到了后面十几行,林念用上了一个十分巧妙的稀疏矩阵折叠换算公式,把原本需要三步走完的数据搬运,直接在寄存器内部一步给合并吞掉了!
梁文锋越看越兴奋:
“妙啊……太妙了!不在显存里做中转,直接拿位运算在通信管道里边走边算,这一下就能把通信包的大小砍掉一半!”
不一会儿的功夫。
林念删掉了老周原本写的五十多行代码,换上了自己刚敲出来的二十八行全新指令。
啪!
她小手一挥,重重按下了编译运行回车键!
“看右边屏幕!”
林念拍了拍手,指向右侧的监控面板。
梁文锋、陈博士和两个程序员齐刷刷地扭头往右边看去。
只见随着新代码编译生效,机房里头那一万张旧卡的绿灯猛地急闪了一下。
紧接着,监控面板右下角那个原本卡在【98.14%】一动不动的通信同步率数字,像是被人从屁股后头猛推了一把,噌的一下往上一跳!
【98.65%】!
【98.92%】!
最后,稳稳停在了【99.28%】的位置上!
与此同时,旁边显示机房总耗电功率的数字,也往下掉了整整八个百分点!
速度快了,吃电反而少了!
整个机房里,顿时安静得落针可闻。
程序员老周端着半瓶冰红茶,看看屏幕上的二十八行代码,又看看坐在椅子上晃着马尾辫的十九岁小姑娘,结结巴巴地说道:
“三分钟……只改了二十八行汇编代码,直接把异构集群干到了百分之九十九点二八?!”
“妹子,你确定你是大学实习生?!你是不是把纪元一代芯片的设计图纸吃到肚子里长大的啊?!”
小时候在硅谷家里,老爸教她写代码的时候,最爱念叨的一句话就是:
“小念,别太迷信那些花里胡哨的高级框架,那都是给懒人准备的拐杖,真正的高手,闭着眼睛都能直接锁死底层的物理内存寄存器!”
这几年,林念在硅谷和北京,见多了那些大公司的顶尖AI博士。
不管是旧金山那个光头伊利亚,还是国内bAt大厂里的首席科学家。
那帮人全都被老爸和老黄充足的显卡给惯坏了。
遇到模型跑得慢,他们从来不去想是不是自己的代码写得太啰嗦、是不是底层通信有浪费,他们唯一的办法就是伸手找老板要钱:“再给我加五万张新显卡!”
那是典型的富家子弟打法,讲究的是拿钱砸人、大力出奇迹。
而今天,在杭州这间连机柜都买不起、只能用超市货架和暖气铜管搭起来的破机房里。
林念居然见到了另外一帮人!
这帮人因为穷、因为买不起好卡,被逼到了墙角,结果他们居然走上了跟老爸当年一模一样的路子。
靠着变态一样的底层代码功底和数学头脑,把一堆没人要的破铜烂铁,硬生生磨成了削铁如泥的飞刀!
林念顿时兴奋不已,彻底忘了自己脖子上还挂着“大学实习生小林”的假工牌,也忘了来之前跟陈博士对好的低调剧本。
林念重新转过头,把脸贴到了第三块大屏幕前面,一眨不眨地盯着上面正在运行的算子调度代码看。
看了一会儿。
林念突然伸出手指头,点在了第三块屏幕中间的一段代码上,开口道:
“梁老板,你们这套手写的底层汇编确实牛,我已经好久没见过写得这么干净的寄存器直接寻址了!”
“不过,你们这第408行到第435行的矩阵切分算子,写得还是有一点点小瑕疵哦!”
啥?有瑕疵?
原本正坐在椅子上喝冰红茶的程序员,一听这话,当场就不乐意了。
这哥们叫老周,以前拿过国际大学生程序设计竞赛的金牌,是幻方里头写底层汇编的一把好手。
老周把冰红茶往桌上一放,皱着眉头抬头看了林念一眼:
“小妹妹,话可不能乱说啊!”
“这段异构矩阵切分算子,是我带着三个人熬了两个礼拜才抠出来的,都已经把通信效率干到百分之九十八点一了,哪来的瑕疵?”
梁文锋也有些好奇地走过来,看着林念问道:“是啊小林同学,百分之九十八点一,差不多已经是pcIe接口的物理极限了,还能怎么改?”
林念指着屏幕,自信的说道:
“你们看这儿!”
“你们这机房里,是六千张纪元一代NpU,混搭了三千多张英伟达的二手旧显卡。”
“这位大哥在写第408行代码的时候,为了照顾那批二手显卡的显存延迟,用了一个固定步长的等待周期。”
“可是你们不知道,我们纪元一代NpU芯片的L1一级缓存里头,其实藏着一个当年没写进公开说明书里的硬件级微秒预取开关!”
“你们没打开这个隐藏开关,导致纪元的NpU每次把矩阵算完传给隔壁二手显卡的时候,寄存器都在那儿白白空转等待了零点八微秒!”
“就是这零点八微秒的空转,吃掉了你们最后百分之一的极限性能,还让芯片多费了不少电!”
林念这几句话一出口。
旁边的程序员老周,还有站在后头的梁文锋,两个人顿时目瞪口呆!
纪元一代NpU芯片里头,藏着一个没写进说明书的隐藏硬件开关?!
还有零点八微秒的寄存器空转?!
老周猛地转过头看向电脑屏幕上的波形图,把时间轴放大了一百倍仔细一瞧……
我的亲娘哎!
在那条绿色的数据波形图最底下,每次跨卡传输的时候,还真有一个细得几乎看不见的小锯齿台阶,不多不少,正好卡了零点八微秒!
他们之前一直以为那是二手显卡硬件老化带来的物理损耗,压根没想到是纪元NpU的隐藏缓存开关没打开!
“这……这你都能看出来?!”老周震惊得从椅子上站了起来。
林念这会儿手痒得不行,看到好代码不改完,她浑身都觉得刺挠。
她直接把双肩包往陈博士怀里一塞,冲着老周摆了摆手:“大哥,你先让一下,光拿嘴说太麻烦了,我直接上手给你们改一下试试!”
说完,林念一屁股坐进了老周刚让出来的办公椅里,两只白嫩的小手,直接搭上了键盘!
站在旁边的陈博士张了张嘴,想提醒她别忘了自己是个普通实习生的人设。
可转念一想,反正这屋里也没外人,由着这丫头折腾去吧,陈博士干脆背着手在旁边笑眯眯地看起了戏。
只见林念坐在电脑前,连鼠标都没碰一下。
她两只手十根手指头,在机械键盘上瞬间化作了一片残影!
噼里啪啦——!!
青轴键盘的敲击声,在机房里响了起来!
她根本不需要查任何参考文档,一行行极其刁钻、连老周都没见过的底层机器微指令,直接从她指尖飞快地流进了黑色的代码框里!
梁文锋站在林念身后,弯着腰,盯着屏幕上飞快跳出来的代码。
刚开始他还看得懂,可到了后面十几行,林念用上了一个十分巧妙的稀疏矩阵折叠换算公式,把原本需要三步走完的数据搬运,直接在寄存器内部一步给合并吞掉了!
梁文锋越看越兴奋:
“妙啊……太妙了!不在显存里做中转,直接拿位运算在通信管道里边走边算,这一下就能把通信包的大小砍掉一半!”
不一会儿的功夫。
林念删掉了老周原本写的五十多行代码,换上了自己刚敲出来的二十八行全新指令。
啪!
她小手一挥,重重按下了编译运行回车键!
“看右边屏幕!”
林念拍了拍手,指向右侧的监控面板。
梁文锋、陈博士和两个程序员齐刷刷地扭头往右边看去。
只见随着新代码编译生效,机房里头那一万张旧卡的绿灯猛地急闪了一下。
紧接着,监控面板右下角那个原本卡在【98.14%】一动不动的通信同步率数字,像是被人从屁股后头猛推了一把,噌的一下往上一跳!
【98.65%】!
【98.92%】!
最后,稳稳停在了【99.28%】的位置上!
与此同时,旁边显示机房总耗电功率的数字,也往下掉了整整八个百分点!
速度快了,吃电反而少了!
整个机房里,顿时安静得落针可闻。
程序员老周端着半瓶冰红茶,看看屏幕上的二十八行代码,又看看坐在椅子上晃着马尾辫的十九岁小姑娘,结结巴巴地说道:
“三分钟……只改了二十八行汇编代码,直接把异构集群干到了百分之九十九点二八?!”
“妹子,你确定你是大学实习生?!你是不是把纪元一代芯片的设计图纸吃到肚子里长大的啊?!”