重生1996:我教黄老板做显卡 第639章 稠密大模型最大的毛病
热门推荐:
我都陆地神仙了,你假孕逼婚?
大秦,一张脸吓懵蒙恬,始皇狂喜
我的雷奥尼克斯之旅果然有问题
这天下第一宗有我,是灭定了!
校园仙途:高考前我踏上了修仙路
权势巅峰:从救下大佬千金开始!
让你契约灵兽,你契约绝美师姐?
重生年代,我的1978
合欢宗,从教训干侄女开始长生
马云四人,全愣住了。
你看看我,我看看你,脸上全是一副听不懂的表情。
交电费?
这叫什么话啊!
刘强东性子最直,第一个忍不住乐出了声,摆着手说道:
“苏总,您这是跟我们哥几个开玩笑呢吧?”
“咱们这四家公司加在一块儿,账上躺着的现金没有一万亿也有八千亿了!”
“平时我们在全国各地建那么大一片数据中心,几百万台服务器日夜不停地转,一年交出去的电费都是几十个亿,咱们眼皮子都没眨一下!”
“现在不就是把盘古一号接进来,陪全国网民聊聊天嘛,能费多少电啊?”
“就算一天烧掉一百万电费,咱们四家一人掏二十五万,跟闹着玩似的,怎么可能交不起电费呢?”
旁边的马云也跟着点头,笑呵呵地说道:
“就是啊苏总,电费那都是毛毛雨!”
“只要明天早上咱们把盘古一号放出去,股票一天就能涨回好几千亿,别说交电费了,就是把发电厂买下来咱们都掏得起这个钱!”
看着这四位财大气粗、完全不当回事儿的大老板。
林念吸了一大口珍珠奶茶,翻了个白眼。
她把怀里那台外星人定制笔记本往桌上一放,脆生生地说道:
“东叔,马叔,你们先别在这儿吹大气了!”
“一天烧一百万电费?你们这也太瞧不起我喂出来的盘古一号了吧!”
“真要是明天放开给全国十亿网民免费用,别说你们账上那点现金了,不出一年,把你们四家公司全卖了,都填不上这个大窟窿!”
说完,林念转头冲着身后的陈博士招了招手:“陈叔叔,把咱们刚打出来的那张表给几位叔叔发下去,让他们自己算算账吧!”
陈博士点了点头,走上前去。
啪的一声!
他把手里那沓《算力与推理成本测算表》,直接拍在了圆桌正中间。
然后一人一份,发到了马云、马化腾、李彦宏和刘强东四个人的手里。
这一下,原本还满脸笑容的四位大佬,脸色稍微收了收,觉得事情好像有点不对劲了。
马化腾低头拿起表格,推了推眼镜往第一页上看去。
李彦宏和刘强东也赶紧翻看起来。
林念拉开苏念旁边的一把椅子坐下,敲了敲桌面说道:“四位叔叔,你们只看见我老爸在硅谷把chatGpt免费放出去,两个月破了一亿用户,觉得特别威风是吧?”
“那你们知道,为什么旧金山那个叫奥尔特曼的家伙,敢把千亿参数的大模型做成免费网页,让全世界的人随便薅羊毛吗?”
马云愣了一下:“为啥?不就是因为你爸给他撑腰吗?”
“我老爸给他撑腰是一方面,但最根本的原因有两个,而这两个条件,咱们国内现在一个都没有!”
林念伸出第一根手指头,收起了玩笑脸,一本正经地说道:
“第一,是硬件算力卡!”
“在硅谷那边,我老爸早就把台积电的先进制程排期给锁死了。”
“英伟达的老黄,每个月都在台积电开足马力,几万张、几万张地往外印最新款的V100企业级显卡!”
“旧金山的openAI只要显卡不够用了,随时都能从我老爸的圣何塞仓库里提新卡出来插上,想要多少张就有多少张,敞开了供应!”
“而且我老爸刚在圣何塞设了个局,让高盛、红杉、微软那帮华尔街的冤大头,排队凑了两百亿美金的现金送进门,专门替openAI买显卡、交电费!”
说到这儿,林念话锋一转,语气变得严肃起来:“可你们再看看咱们国内现在是什么情况!”
“陈叔叔,你给几位叔叔讲讲,咱们手里的硬件家底到底还有多少?”
站在旁边的陈博士叹了口气,开口道:
“四位老总,你们搞互联网软件的可能没太注意硬件封锁。”
“自从去年年初,华盛顿那边签了那个FdpR实体清单规则之后,凡是用到美国技术的代工厂,全都不准给咱们国内代工先进芯片了。”
“咱们去年虽然拿出了纯国产的女娲EdA软件,解决了画图纸的问题,但造芯片最要命的荷兰ASmL极紫外光刻机,还有台积电的七纳米、十二纳米先进产线,现在对咱们国内依然是彻底断供封锁的状态!”
“这就意味着,咱们国内的高端AI算力卡,现在是彻底没法找台积电大量补货的,完全是用一张少一张,烧坏一张就彻底少一张的绝版货!”
听到用一张少一张,马化腾和李彦宏的眉头同时皱了起来。
陈博士指着表格上的第一行红字,给他们算起了账:“现在咱们北京和贵州这两个地下超级算力中心里,能拿来跑千亿大模型的主力硬件,一共就两批。”
“一批是前两年林哲先生通过方舟计划,用货轮偷偷运回国内的几万张英伟达显卡,另一批就是咱们自己攒出来的十万张纪元国产NpU加速卡。”
“这十万张国产NpU卡,就是咱们目前全部的家底了!”
“平时这十万张卡,一半要用来继续训练升级盘古底座,另一半要分给你们阿里云和腾讯云做后台支撑,满打满算,能抽出来做对话推理的,也就五万张卡左右。”
陈博士看着刚才喊着要一天破五亿日活的马化腾,毫不留情地泼了一瓢冰水:
“马总,你刚才说,今天晚上花两个小时,把盘古一号做成微信顶部的置顶小程序,明天一早放开给微信十亿日活用户免费聊天,对吧?”
马化腾点了点头:“对,技术上完全没问题。”
“技术上没问题,但物理硬件上会直接爆炸!”
陈博士声音陡然拔高,拿着笔重重敲着表格喊道:“openAI在硅谷,是让用户去网页上注册,慢慢涨到一亿月活,而且同时在线聊天的人也就两三百万,林哲先生都已经在圣何塞地下动用了十二万张顶级显卡去扛了!”
“可你们微信是什么体量?那是十亿人每天睁开眼就要点开的国民软件!”
“要是明天早上,十亿人一打开微信,全都好奇地点进那个小程序里跟盘古聊上两句,同一秒钟涌进来的并发请求,最少是几千万甚至上亿次!”
“这么恐怖的流量海啸同时涌进咱们的地下机房,根本不需要等什么一个礼拜!”
“最多三天!甚至都撑不到三天,当天上午十点钟,咱们国内现有的这十万张国产NpU算力池,就会因为过载发热,被这十亿网民活活挤瘫痪、当场烧成一堆废铁!”
“到时候别说打外媒的脸了,全国网民看到的只有一个卡死转圈的报错页面,连带着你们微信和淘宝的正常后台服务器都得一块儿跟着宕机崩溃!”
这一番话下来,刚才还一脸兴奋的马化腾,脸刷的一下就白了!
搞互联网的人,最怕听到什么词?
就是全网宕机和烧毁服务器!
旁边的李彦宏也倒吸了一口凉气,赶紧问道:“陈博士,怎么会消耗这么大呢?以前我们百度每天处理几十亿次搜索请求,几万台普通服务器不也轻轻松松扛下来了吗?”
“李总,这能一样吗?!”
坐在椅子上的林念放下奶茶杯,接过话茬,给他们科普起来:
“李叔,你们以前的百度搜索,那叫关键词匹配,用户在框里敲几个字,你的服务器去目录里找几个现成的网址扔出来,连一丁点脑子都不用动,普通cpU一秒钟能干几万次!”
“可咱们这个盘古一号是什么玩意儿?”
“它跟硅谷的Gpt-3.5一样,是个一千七百五十亿参数的稠密大模型(dense model)!”
刘强东挠了挠头,一脸懵逼地问道:“小念侄女,啥叫稠密大模型?说大白话,叔听不懂这专业词儿。”
林念叹了口气,比划着解释道:
“大白话就是,这个模型是个死脑筋的胖子,干活不挑轻重,每次都得使出全身的力气!”
“它肚子里装了一千七百五十亿个神经元参数。”
“什么叫稠密架构呢?意思就是,不管用户问它多么简单的问题,哪怕你在微信里只跟它发一句早安,或者问它一句一加一等于几。”
“咱们地下机房里的NpU芯片,都没法偷懒!必须把这一千七百五十亿个参数,从第一个到最后一个,完完全全全部激活、全部重新算上一遍,才能给你蹦出那两个字的回答来!”
“这就好比,东叔你在京东买了一根一毛钱的绣花针,结果为了给你送这根针,你不能派个骑电瓶车的快递员去,你必须同时发动一万辆重型大卡车,排着队轰隆隆开到你家门口,才能把这根针交到你手里!”
“一万俩重型大卡车送一根绣花针?!”
刘强东张大了嘴巴喊道:“我的乖乖!这也太败家了吧!问句早安都要把一千七百亿个参数全算一遍?那得浪费多少算力和电啊?!”
“可不是嘛!这就是稠密大模型最大的毛病。”
“太笨重、太贵了!”
林念摊开两只手,无奈地说道:
“刚才东叔和马叔不是说,你们账上有的是钱,根本不在乎那点电费吗?”
“来来来,你们翻到第二页,看看我和陈叔叔今天下午刚算出来的这笔电费账单吧!”
你看看我,我看看你,脸上全是一副听不懂的表情。
交电费?
这叫什么话啊!
刘强东性子最直,第一个忍不住乐出了声,摆着手说道:
“苏总,您这是跟我们哥几个开玩笑呢吧?”
“咱们这四家公司加在一块儿,账上躺着的现金没有一万亿也有八千亿了!”
“平时我们在全国各地建那么大一片数据中心,几百万台服务器日夜不停地转,一年交出去的电费都是几十个亿,咱们眼皮子都没眨一下!”
“现在不就是把盘古一号接进来,陪全国网民聊聊天嘛,能费多少电啊?”
“就算一天烧掉一百万电费,咱们四家一人掏二十五万,跟闹着玩似的,怎么可能交不起电费呢?”
旁边的马云也跟着点头,笑呵呵地说道:
“就是啊苏总,电费那都是毛毛雨!”
“只要明天早上咱们把盘古一号放出去,股票一天就能涨回好几千亿,别说交电费了,就是把发电厂买下来咱们都掏得起这个钱!”
看着这四位财大气粗、完全不当回事儿的大老板。
林念吸了一大口珍珠奶茶,翻了个白眼。
她把怀里那台外星人定制笔记本往桌上一放,脆生生地说道:
“东叔,马叔,你们先别在这儿吹大气了!”
“一天烧一百万电费?你们这也太瞧不起我喂出来的盘古一号了吧!”
“真要是明天放开给全国十亿网民免费用,别说你们账上那点现金了,不出一年,把你们四家公司全卖了,都填不上这个大窟窿!”
说完,林念转头冲着身后的陈博士招了招手:“陈叔叔,把咱们刚打出来的那张表给几位叔叔发下去,让他们自己算算账吧!”
陈博士点了点头,走上前去。
啪的一声!
他把手里那沓《算力与推理成本测算表》,直接拍在了圆桌正中间。
然后一人一份,发到了马云、马化腾、李彦宏和刘强东四个人的手里。
这一下,原本还满脸笑容的四位大佬,脸色稍微收了收,觉得事情好像有点不对劲了。
马化腾低头拿起表格,推了推眼镜往第一页上看去。
李彦宏和刘强东也赶紧翻看起来。
林念拉开苏念旁边的一把椅子坐下,敲了敲桌面说道:“四位叔叔,你们只看见我老爸在硅谷把chatGpt免费放出去,两个月破了一亿用户,觉得特别威风是吧?”
“那你们知道,为什么旧金山那个叫奥尔特曼的家伙,敢把千亿参数的大模型做成免费网页,让全世界的人随便薅羊毛吗?”
马云愣了一下:“为啥?不就是因为你爸给他撑腰吗?”
“我老爸给他撑腰是一方面,但最根本的原因有两个,而这两个条件,咱们国内现在一个都没有!”
林念伸出第一根手指头,收起了玩笑脸,一本正经地说道:
“第一,是硬件算力卡!”
“在硅谷那边,我老爸早就把台积电的先进制程排期给锁死了。”
“英伟达的老黄,每个月都在台积电开足马力,几万张、几万张地往外印最新款的V100企业级显卡!”
“旧金山的openAI只要显卡不够用了,随时都能从我老爸的圣何塞仓库里提新卡出来插上,想要多少张就有多少张,敞开了供应!”
“而且我老爸刚在圣何塞设了个局,让高盛、红杉、微软那帮华尔街的冤大头,排队凑了两百亿美金的现金送进门,专门替openAI买显卡、交电费!”
说到这儿,林念话锋一转,语气变得严肃起来:“可你们再看看咱们国内现在是什么情况!”
“陈叔叔,你给几位叔叔讲讲,咱们手里的硬件家底到底还有多少?”
站在旁边的陈博士叹了口气,开口道:
“四位老总,你们搞互联网软件的可能没太注意硬件封锁。”
“自从去年年初,华盛顿那边签了那个FdpR实体清单规则之后,凡是用到美国技术的代工厂,全都不准给咱们国内代工先进芯片了。”
“咱们去年虽然拿出了纯国产的女娲EdA软件,解决了画图纸的问题,但造芯片最要命的荷兰ASmL极紫外光刻机,还有台积电的七纳米、十二纳米先进产线,现在对咱们国内依然是彻底断供封锁的状态!”
“这就意味着,咱们国内的高端AI算力卡,现在是彻底没法找台积电大量补货的,完全是用一张少一张,烧坏一张就彻底少一张的绝版货!”
听到用一张少一张,马化腾和李彦宏的眉头同时皱了起来。
陈博士指着表格上的第一行红字,给他们算起了账:“现在咱们北京和贵州这两个地下超级算力中心里,能拿来跑千亿大模型的主力硬件,一共就两批。”
“一批是前两年林哲先生通过方舟计划,用货轮偷偷运回国内的几万张英伟达显卡,另一批就是咱们自己攒出来的十万张纪元国产NpU加速卡。”
“这十万张国产NpU卡,就是咱们目前全部的家底了!”
“平时这十万张卡,一半要用来继续训练升级盘古底座,另一半要分给你们阿里云和腾讯云做后台支撑,满打满算,能抽出来做对话推理的,也就五万张卡左右。”
陈博士看着刚才喊着要一天破五亿日活的马化腾,毫不留情地泼了一瓢冰水:
“马总,你刚才说,今天晚上花两个小时,把盘古一号做成微信顶部的置顶小程序,明天一早放开给微信十亿日活用户免费聊天,对吧?”
马化腾点了点头:“对,技术上完全没问题。”
“技术上没问题,但物理硬件上会直接爆炸!”
陈博士声音陡然拔高,拿着笔重重敲着表格喊道:“openAI在硅谷,是让用户去网页上注册,慢慢涨到一亿月活,而且同时在线聊天的人也就两三百万,林哲先生都已经在圣何塞地下动用了十二万张顶级显卡去扛了!”
“可你们微信是什么体量?那是十亿人每天睁开眼就要点开的国民软件!”
“要是明天早上,十亿人一打开微信,全都好奇地点进那个小程序里跟盘古聊上两句,同一秒钟涌进来的并发请求,最少是几千万甚至上亿次!”
“这么恐怖的流量海啸同时涌进咱们的地下机房,根本不需要等什么一个礼拜!”
“最多三天!甚至都撑不到三天,当天上午十点钟,咱们国内现有的这十万张国产NpU算力池,就会因为过载发热,被这十亿网民活活挤瘫痪、当场烧成一堆废铁!”
“到时候别说打外媒的脸了,全国网民看到的只有一个卡死转圈的报错页面,连带着你们微信和淘宝的正常后台服务器都得一块儿跟着宕机崩溃!”
这一番话下来,刚才还一脸兴奋的马化腾,脸刷的一下就白了!
搞互联网的人,最怕听到什么词?
就是全网宕机和烧毁服务器!
旁边的李彦宏也倒吸了一口凉气,赶紧问道:“陈博士,怎么会消耗这么大呢?以前我们百度每天处理几十亿次搜索请求,几万台普通服务器不也轻轻松松扛下来了吗?”
“李总,这能一样吗?!”
坐在椅子上的林念放下奶茶杯,接过话茬,给他们科普起来:
“李叔,你们以前的百度搜索,那叫关键词匹配,用户在框里敲几个字,你的服务器去目录里找几个现成的网址扔出来,连一丁点脑子都不用动,普通cpU一秒钟能干几万次!”
“可咱们这个盘古一号是什么玩意儿?”
“它跟硅谷的Gpt-3.5一样,是个一千七百五十亿参数的稠密大模型(dense model)!”
刘强东挠了挠头,一脸懵逼地问道:“小念侄女,啥叫稠密大模型?说大白话,叔听不懂这专业词儿。”
林念叹了口气,比划着解释道:
“大白话就是,这个模型是个死脑筋的胖子,干活不挑轻重,每次都得使出全身的力气!”
“它肚子里装了一千七百五十亿个神经元参数。”
“什么叫稠密架构呢?意思就是,不管用户问它多么简单的问题,哪怕你在微信里只跟它发一句早安,或者问它一句一加一等于几。”
“咱们地下机房里的NpU芯片,都没法偷懒!必须把这一千七百五十亿个参数,从第一个到最后一个,完完全全全部激活、全部重新算上一遍,才能给你蹦出那两个字的回答来!”
“这就好比,东叔你在京东买了一根一毛钱的绣花针,结果为了给你送这根针,你不能派个骑电瓶车的快递员去,你必须同时发动一万辆重型大卡车,排着队轰隆隆开到你家门口,才能把这根针交到你手里!”
“一万俩重型大卡车送一根绣花针?!”
刘强东张大了嘴巴喊道:“我的乖乖!这也太败家了吧!问句早安都要把一千七百亿个参数全算一遍?那得浪费多少算力和电啊?!”
“可不是嘛!这就是稠密大模型最大的毛病。”
“太笨重、太贵了!”
林念摊开两只手,无奈地说道:
“刚才东叔和马叔不是说,你们账上有的是钱,根本不在乎那点电费吗?”
“来来来,你们翻到第二页,看看我和陈叔叔今天下午刚算出来的这笔电费账单吧!”