重生1996:我教黄老板做显卡 第641章 杭州·幻方量化
热门推荐:
凡骨逆天:系统助我踏九霄
起手叠加亿万倍,邪神也得乖乖跪
徒儿,下山去祸害你师姐吧
留守村妇的艳阳天
名义:一直在进步
我都陆地神仙了,你假孕逼婚?
大秦,一张脸吓懵蒙恬,始皇狂喜
我的雷奥尼克斯之旅果然有问题
这天下第一宗有我,是灭定了!
听到苏念这个稳妥的安排,马云、马化腾、李彦宏和刘强东四个人总算是松了一口气,纷纷点头应了下来:
“还是苏总想得周到!那就先接内部后台,给咱们的程序员和商家用,绝不放开免费闲聊!”
不过,大方向虽然稳住了,但坐在旁边的林念,却一点都开心不起来。
她是个在技术上极其较真、眼里揉不得沙子的性格,这点随了她老爸林哲。
林念双手托着腮帮子,看着电脑屏幕上那个笨重的千亿参数模型架构图,气呼呼地用手指头挠着自己的脑袋,把头发挠得跟鸡窝一样,嘴里不停地碎碎念吐槽道:
“烦死了!真是太烦人了!”
“我辛辛苦苦搞出来的盘古大模型,本来就是要让全华国老百姓都能随便用的嘛,现在只能锁在后台当个干苦力的工具人,这算怎么回事啊!”
“都怪这个该死的稠密架构(dense),实在是太蠢了!问个一加一等于几,非得把一千七百五十亿个参数全拉出来溜一遍,纯属浪费电!”
林念抓耳挠腮地苦思冥想,自言自语道:
“不行!老爸在瑞士交给我和老妈的任务,就是要想办法把这个算力成本给打下来!”
“到底有什么办法,能在不让盘古变笨的前提下,给这个大胖子做个抽脂手术,直接把它的训练和推理算力消耗,砍掉八成、甚至砍掉九成以上呢?”
“只要能把算力消耗砍掉九成,一句话的成本从三毛五降到一分钱以下,咱们手里的十万张国产NpU卡就能直接当一百万张卡使,到时候就能敞开大门让全国十亿人随便用了呀!”
“可是……砍掉九成算力?这在数学和底层硬件调度上,到底该怎么改代码才能榨出这么高的效率来啊……”
看着林念在那儿抓耳挠腮、绞尽脑汁想破局办法的样子,旁边的苏念和四位大佬也帮不上忙。
毕竟把大模型成本砍掉九成,这听着就跟天方夜谭一样,现在全世界的科学家都在信奉大力出奇迹,谁会去研究怎么省电省显卡?
就在林念咬着奶茶吸管、愁得眉头紧皱的时候。
站在她身后的陈博士,突然像是想起了什么事情,愣了一下。
“咦……说到把硬件性能压榨到极限、用最少的旧显卡跑出最高效率……”
陈博士小声嘀咕了一句,然后低头在自己带来的黑色文件夹最底下翻找了起来。
很快,陈博士从文件夹夹层里,抽出来了一份只有两三页纸、看着毫不显眼的内部简报。
苏念注意到了陈博士的动作,转头问道:
“陈博士,你手里拿的这是什么?”
陈博士表情有些古怪地把那份薄薄的报告递到了苏念和林念面前,开口说道:
“苏总,小念,这事儿说来也巧了。”
“这两个月,自从chatGpt在海外火了之后,国内的黑市上也在到处疯抢显卡和算力设备。”
“为了防止有人把咱们国内仅存的算力卡倒卖出国,我前两天让人顺着咱们纪元国内代工厂的出货渠道,彻底清查了一遍近期国内算力设备的流向。”
“结果昨天晚上,底下人给我交上来一份特别奇怪的硬件采购异常报告,地点正好就在马总的老家,杭州!”
“啥?在我们杭州?!”
坐在旁边的马云一听,立马来了精神,伸长了脖子凑过来问道:
“陈博士,在杭州疯狂买算力卡?那还能有谁啊,肯定是我们阿里云王坚手底下的采购部门,在外面偷偷扫货攒家底呢吧?”
陈博士摇了摇头,一脸认真地说道:
“马总,奇怪就奇怪在这儿!如果真是你们阿里巴巴,或者是腾讯、百度,甚至是哪家大学的国家重点实验室在买卡,那我都不会觉得稀奇。”
“可我让人查了工商底档才发现,这个在市场上像疯子一样砸现金扫货的买家,根本就不是搞互联网的,更不是搞芯片和人工智能的!”
林念一下子被勾起了好奇心,停下咬吸管的动作,眨巴着大眼睛问道:
“不是搞互联网的,也不是实验室?那他们是干嘛的?买那么多算力卡回去当电暖气烤火啊?”
陈博士指了指报告第一页上的公司名字,说道:“这家公司,是杭州一家专门搞股票高频交易的量化私募基金,名字叫:幻方量化!”
“量化私募基金?炒股票的?!”
屋里的马云、马化腾、李彦宏和刘强东四个人全都面面相觑,脑门上冒出了一排问号。
陈博士点了点头,语气里带着几分惊讶,继续说道:“没错,就是一家靠写数学模型在A股市场里炒股赚钱的私募公司!”
“这家公司的老板是个学信息工程出身的年轻人,他们这大半年,拿着从股市里赚来的大把现金,既不买楼也不买豪车,而是在全国各地的二手市场和渠道商手里,疯狂扫货咱们纪元上一代的旧款NpU加速卡,还有老黄几年前淘汰下来的二手旧显卡!”
“他们前前后后已经扫了快一万张旧卡了,自己在杭州租了个地方,拉了高压电专线,偷偷摸摸建了个深度学习超算机房,还起了个名字叫什么萤火一号!”
听到这儿,林念挑了挑眉毛:
“拿一万张淘汰的旧款NpU卡建机房?陈叔叔,上一代的旧卡通信带宽那么窄,连高速互联接口都没有,堆在一块儿延迟高得要命,他们买回去怎么跑大模型?”
“小念,最邪门的地方就在这儿!”
陈博士指着报告最后一页的技术监测记录,激动地说道:“前两天,我们负责维护旧款NpU底层固件的工程师,在后台的技术极客社区里,发现了几个来自杭州Ip地址的匿名技术帖!”
“发帖子的就是这家幻方量化里的核心程序员!”
“你绝对想不到这帮搞数学和高频交易的野生疯子干了什么事儿……他们为了省钱,为了在微秒级的时间里把那些破烂旧显卡的性能彻底榨干,居然完全绕过了市面上常规的编译框架,自己动手,直接重写了最底层的硬件通信汇编代码和矩阵调度逻辑!”
“他们靠着纯粹的数学算法和底层手写代码,硬生生把咱们上一代旧款NpU卡的集群通信效率,压榨到了百分之九十八的物理极限!用一堆破铜烂铁跑出来的算力效率,比咱们现在用最新款NpU跑出来的还要猛,连我看了他们贴出来的那几行代码都吓了一大跳!”
啪嗒!
林念把手里的奶茶杯重重放在桌上。
她一把从陈博士手里抢过那份来自杭州的异常报告,低头看向最后一页附着的那几行底层代码截图。
只看了几眼。
这位天才少女,那双原本因为发愁而暗淡的大眼睛,瞬间亮了起来!
“绕过常规框架……直接手写底层硬件通信代码……用纯数学方法把废旧硬件的算力压榨到物理极限?!”
林念看着报告上【杭州·幻方量化】那几个字,再看看上面提到的那个年轻创始人的名字,嘴角慢慢露出一抹兴奋的笑容:
“有意思!太有意思了!”
“老妈!陈叔叔!咱们正愁找不到给盘古大模型砍掉九成算力消耗的手术刀呢,这把藏在民间股市里的绝世好刀,不就自己冒出水面了吗?!”
“还是苏总想得周到!那就先接内部后台,给咱们的程序员和商家用,绝不放开免费闲聊!”
不过,大方向虽然稳住了,但坐在旁边的林念,却一点都开心不起来。
她是个在技术上极其较真、眼里揉不得沙子的性格,这点随了她老爸林哲。
林念双手托着腮帮子,看着电脑屏幕上那个笨重的千亿参数模型架构图,气呼呼地用手指头挠着自己的脑袋,把头发挠得跟鸡窝一样,嘴里不停地碎碎念吐槽道:
“烦死了!真是太烦人了!”
“我辛辛苦苦搞出来的盘古大模型,本来就是要让全华国老百姓都能随便用的嘛,现在只能锁在后台当个干苦力的工具人,这算怎么回事啊!”
“都怪这个该死的稠密架构(dense),实在是太蠢了!问个一加一等于几,非得把一千七百五十亿个参数全拉出来溜一遍,纯属浪费电!”
林念抓耳挠腮地苦思冥想,自言自语道:
“不行!老爸在瑞士交给我和老妈的任务,就是要想办法把这个算力成本给打下来!”
“到底有什么办法,能在不让盘古变笨的前提下,给这个大胖子做个抽脂手术,直接把它的训练和推理算力消耗,砍掉八成、甚至砍掉九成以上呢?”
“只要能把算力消耗砍掉九成,一句话的成本从三毛五降到一分钱以下,咱们手里的十万张国产NpU卡就能直接当一百万张卡使,到时候就能敞开大门让全国十亿人随便用了呀!”
“可是……砍掉九成算力?这在数学和底层硬件调度上,到底该怎么改代码才能榨出这么高的效率来啊……”
看着林念在那儿抓耳挠腮、绞尽脑汁想破局办法的样子,旁边的苏念和四位大佬也帮不上忙。
毕竟把大模型成本砍掉九成,这听着就跟天方夜谭一样,现在全世界的科学家都在信奉大力出奇迹,谁会去研究怎么省电省显卡?
就在林念咬着奶茶吸管、愁得眉头紧皱的时候。
站在她身后的陈博士,突然像是想起了什么事情,愣了一下。
“咦……说到把硬件性能压榨到极限、用最少的旧显卡跑出最高效率……”
陈博士小声嘀咕了一句,然后低头在自己带来的黑色文件夹最底下翻找了起来。
很快,陈博士从文件夹夹层里,抽出来了一份只有两三页纸、看着毫不显眼的内部简报。
苏念注意到了陈博士的动作,转头问道:
“陈博士,你手里拿的这是什么?”
陈博士表情有些古怪地把那份薄薄的报告递到了苏念和林念面前,开口说道:
“苏总,小念,这事儿说来也巧了。”
“这两个月,自从chatGpt在海外火了之后,国内的黑市上也在到处疯抢显卡和算力设备。”
“为了防止有人把咱们国内仅存的算力卡倒卖出国,我前两天让人顺着咱们纪元国内代工厂的出货渠道,彻底清查了一遍近期国内算力设备的流向。”
“结果昨天晚上,底下人给我交上来一份特别奇怪的硬件采购异常报告,地点正好就在马总的老家,杭州!”
“啥?在我们杭州?!”
坐在旁边的马云一听,立马来了精神,伸长了脖子凑过来问道:
“陈博士,在杭州疯狂买算力卡?那还能有谁啊,肯定是我们阿里云王坚手底下的采购部门,在外面偷偷扫货攒家底呢吧?”
陈博士摇了摇头,一脸认真地说道:
“马总,奇怪就奇怪在这儿!如果真是你们阿里巴巴,或者是腾讯、百度,甚至是哪家大学的国家重点实验室在买卡,那我都不会觉得稀奇。”
“可我让人查了工商底档才发现,这个在市场上像疯子一样砸现金扫货的买家,根本就不是搞互联网的,更不是搞芯片和人工智能的!”
林念一下子被勾起了好奇心,停下咬吸管的动作,眨巴着大眼睛问道:
“不是搞互联网的,也不是实验室?那他们是干嘛的?买那么多算力卡回去当电暖气烤火啊?”
陈博士指了指报告第一页上的公司名字,说道:“这家公司,是杭州一家专门搞股票高频交易的量化私募基金,名字叫:幻方量化!”
“量化私募基金?炒股票的?!”
屋里的马云、马化腾、李彦宏和刘强东四个人全都面面相觑,脑门上冒出了一排问号。
陈博士点了点头,语气里带着几分惊讶,继续说道:“没错,就是一家靠写数学模型在A股市场里炒股赚钱的私募公司!”
“这家公司的老板是个学信息工程出身的年轻人,他们这大半年,拿着从股市里赚来的大把现金,既不买楼也不买豪车,而是在全国各地的二手市场和渠道商手里,疯狂扫货咱们纪元上一代的旧款NpU加速卡,还有老黄几年前淘汰下来的二手旧显卡!”
“他们前前后后已经扫了快一万张旧卡了,自己在杭州租了个地方,拉了高压电专线,偷偷摸摸建了个深度学习超算机房,还起了个名字叫什么萤火一号!”
听到这儿,林念挑了挑眉毛:
“拿一万张淘汰的旧款NpU卡建机房?陈叔叔,上一代的旧卡通信带宽那么窄,连高速互联接口都没有,堆在一块儿延迟高得要命,他们买回去怎么跑大模型?”
“小念,最邪门的地方就在这儿!”
陈博士指着报告最后一页的技术监测记录,激动地说道:“前两天,我们负责维护旧款NpU底层固件的工程师,在后台的技术极客社区里,发现了几个来自杭州Ip地址的匿名技术帖!”
“发帖子的就是这家幻方量化里的核心程序员!”
“你绝对想不到这帮搞数学和高频交易的野生疯子干了什么事儿……他们为了省钱,为了在微秒级的时间里把那些破烂旧显卡的性能彻底榨干,居然完全绕过了市面上常规的编译框架,自己动手,直接重写了最底层的硬件通信汇编代码和矩阵调度逻辑!”
“他们靠着纯粹的数学算法和底层手写代码,硬生生把咱们上一代旧款NpU卡的集群通信效率,压榨到了百分之九十八的物理极限!用一堆破铜烂铁跑出来的算力效率,比咱们现在用最新款NpU跑出来的还要猛,连我看了他们贴出来的那几行代码都吓了一大跳!”
啪嗒!
林念把手里的奶茶杯重重放在桌上。
她一把从陈博士手里抢过那份来自杭州的异常报告,低头看向最后一页附着的那几行底层代码截图。
只看了几眼。
这位天才少女,那双原本因为发愁而暗淡的大眼睛,瞬间亮了起来!
“绕过常规框架……直接手写底层硬件通信代码……用纯数学方法把废旧硬件的算力压榨到物理极限?!”
林念看着报告上【杭州·幻方量化】那几个字,再看看上面提到的那个年轻创始人的名字,嘴角慢慢露出一抹兴奋的笑容:
“有意思!太有意思了!”
“老妈!陈叔叔!咱们正愁找不到给盘古大模型砍掉九成算力消耗的手术刀呢,这把藏在民间股市里的绝世好刀,不就自己冒出水面了吗?!”