重生1996:我教黄老板做显卡 第599章 稳如泰山的算力底座
热门推荐:
千万月薪:女总裁拿我当专属奴隶
约战,选我当主角?大可不必!
重生1996:我教黄老板做显卡
扶春枝
诸天恶人:我的良心被狗吃了
全球玩家苦练武,就我一人在修仙
六零:被顶替的司令千金重生了
王重阳?滚来修仙!
终极进化路
奥尔特曼气急败坏地绕到电脑后面,低头往中间那块连接着圣何塞底层的核心仪表盘上看去。
在他想来,这会儿屏幕上的负载进度条肯定已经全变成刺眼的深红色了,延迟时间肯定已经飙到了几十秒开外,甚至可能已经有好几百台服务器因为过热报警而自动踢下线了。
然而。
当奥尔特曼看清屏幕上的数据时,他整个人直接愣在了原地。
只见那三块大屏幕上,从上到下,密密麻麻几百个监控指标,全都是绿油油的一片!
连半个黄灯和红灯都没有!
奥尔特曼使劲揉了揉眼睛,把脸贴到屏幕跟前,看向最关键的那三行数字:
【当前全球并发在线请求:1,850,000次/秒】
【Akamai全球边缘节点带宽负载率:18.4%(状态:极度空闲)】
【纪元负三层超算中心算力池总负载率:41.2%(状态:运行平稳,水温正常)】
【全球用户平均响应延迟:11.2毫秒(波动幅度:0.00毫秒)】
零毫秒波动?!
负载率才百分之四十一?!
奥尔特曼傻眼了,指着屏幕上的数字,不可思议地喊道:“这……这怎么可能?!每秒钟快两百万次的并发请求,延迟居然只有十一毫秒,连一毫秒都没抖一下?!”
“你们这监控软件是不是坏了,卡死在昨天的画面上了?!”
这时候,光着脑门的首席科学家伊利亚,端着一杯热咖啡,慢悠悠地从后面的机房里晃荡了出来。
他看了一眼满头大汗的奥尔特曼,又看了看监控屏幕,一脸淡定地喝了口咖啡说道:
“萨姆,监控没坏,你把心放回肚子里吧,别在这儿一惊一乍的了。”
“我刚才在里面盯了半天了,圣何塞那边的服务器稳如泰山,别说现在才几百万人了,就是再来两千万人同时在线聊天,它也不会卡一下的!”
奥尔特曼还是不敢相信,转过头问道:
“为什么啊?当年脸书和推特火起来的时候,几十万人就能把机房干趴下,咱们这可是最吃算力的千亿大模型啊,怎么可能连一毫秒都不抖?!”
旁边的联合创始人格雷格这时候也看明白了后台的架构图,忍不住倒吸了一口凉气,苦笑着拍了拍奥尔特曼的肩膀:
“萨姆,那是因为咱们以前见的都是些穷鬼创业公司,咱们根本没见识过,林哲先生这二十年来打造的物理底座,到底是个什么级别的怪物!”
格雷格伸手指着左边的网络流量图,给奥尔特曼解释道:
“你看这第一道防线,管网络带宽的。”
“普通创业公司上线,都是去租几根普通的商业宽带,几百万人一涌进来,门口的路直接就堵死了,能不报错吗?”
“可林先生给我们接的是什么?是Akamai的全球最高级别加速网,外加Level 3的跨大洋海底光缆和半个美国的骨干光纤网!”
“全球几十万台边缘服务器同时帮咱们分流,伦敦、东京、纽约的用户敲下一行字,直接就走林先生自家的专有海底光缆,连公网的堵车路段都不经过,直接秒传到硅谷!”
“咱们这点流量,扔进林先生那能够吞吐半个地球数据的光纤大水管里,连个水花都溅不起来!”
说完网络,格雷格又指了指右边那块显示着圣何塞负三层机房状态的屏幕,眼神里全是敬畏:
“再看这第二道防线,管大模型推理计算的。”
“咱们之前训练模型用的那八万张Volta架构显卡,只是林先生负三层机房的一部分!”
“就在咱们上周三上线网页的当天晚上,圣何塞机房那边连声招呼都没打,直接自动触发了负载均衡协议,把机房里另外闲置备用的四万张同级别企业级GpU,外加两万张专门负责高速缓存调度的纪元NpU阵列,全给咱们无缝并进来了!”
“整整十二万张顶级显卡泡在液冷管道里同时干活啊!”
“萨姆,这就好比别人开小饭馆,后厨就一个厨子一口锅,来十桌客人就忙得冒烟了;而林先生直接在咱们后厨摆了十万个顶级厨师和十万口高压锅,外头来几百万人点菜,一人分摊下来连塞牙缝都不够,服务器怎么可能宕机?!”
听完格雷格这番拆解,大厅里鸦雀无声。
奥尔特曼站在监控台前,呆呆地看着屏幕上的11.2毫秒延迟线,好半天才长长地吐出了一口气。
他一屁股坐在了旁边的办公椅上,嘴里喃喃自语道:“十二万张顶级GpU……全球最大的海底光缆和网络……”
“难怪……难怪当初扎克伯格的脸书和陈士骏的Youtube能在硅谷横扫一切对手,原来站在林哲先生的这套物理底座上面打仗,感觉是这么爽啊!”
这一刻,奥尔特曼彻底服了。
他无比庆幸自己去年十月份没有硬撑着跟林哲翻脸,而是老老实实签了那份出让百分之四十九利润的合同。
要是没有林哲这座深不见底的钢铁靠山,光靠他们自己去外面租服务器,今天这波几百万人的流量海啸涌过来,他们openAI当场就得被拍得粉身碎骨!
……
就在奥尔特曼在旧金山感叹自家底座稳如泰山的时候。
往南几十公里外的圣何塞,纪元公司总部大楼顶层。
总裁办公室里,窗明几净。
林哲正舒舒服服地靠在老板椅上,手里端着他的枸杞保温杯,一边喝茶,一边看着面前的平板电脑。
大卫站在办公桌对面,手里也拿着个文件夹,脸上笑得见牙不见眼,嘴角都快裂到后脑勺去了。
“老板,您看看这个表!”
大卫指着平板电脑上正在实时刷新的一张财务后台报表,声音里全是按捺不住的兴奋劲儿:
“刚才旧金山那边的注册用户正式突破一百万了,而且还在以每天几百万的速度往上狂飙!”
“现在全世界的网友都在跟疯了一样找chatGpt聊天!”
林哲低头瞅了一眼平板电脑屏幕。
他看的可不是什么用户注册数,他对那玩意儿没兴趣。
他屏幕上开着的,是纪元公司负三层超级算力中心专门针对openAI账户设置的:【实时ApI调用与算力消耗计费总表】!
按照林哲去年跟奥尔特曼签的那份合同。
openAI所有的模型训练、还有上线之后每一秒钟的推理服务,必须百分之百跑在纪元公司的地下机房里,按最高商业标准实时扣费!
在普通网友眼里,chatGpt是个完全免费的大善人网站,注册个邮箱就能随便聊,一分钱不花。
可在林哲这个机房房东眼里,天底下哪有什么免费的事儿?
在他想来,这会儿屏幕上的负载进度条肯定已经全变成刺眼的深红色了,延迟时间肯定已经飙到了几十秒开外,甚至可能已经有好几百台服务器因为过热报警而自动踢下线了。
然而。
当奥尔特曼看清屏幕上的数据时,他整个人直接愣在了原地。
只见那三块大屏幕上,从上到下,密密麻麻几百个监控指标,全都是绿油油的一片!
连半个黄灯和红灯都没有!
奥尔特曼使劲揉了揉眼睛,把脸贴到屏幕跟前,看向最关键的那三行数字:
【当前全球并发在线请求:1,850,000次/秒】
【Akamai全球边缘节点带宽负载率:18.4%(状态:极度空闲)】
【纪元负三层超算中心算力池总负载率:41.2%(状态:运行平稳,水温正常)】
【全球用户平均响应延迟:11.2毫秒(波动幅度:0.00毫秒)】
零毫秒波动?!
负载率才百分之四十一?!
奥尔特曼傻眼了,指着屏幕上的数字,不可思议地喊道:“这……这怎么可能?!每秒钟快两百万次的并发请求,延迟居然只有十一毫秒,连一毫秒都没抖一下?!”
“你们这监控软件是不是坏了,卡死在昨天的画面上了?!”
这时候,光着脑门的首席科学家伊利亚,端着一杯热咖啡,慢悠悠地从后面的机房里晃荡了出来。
他看了一眼满头大汗的奥尔特曼,又看了看监控屏幕,一脸淡定地喝了口咖啡说道:
“萨姆,监控没坏,你把心放回肚子里吧,别在这儿一惊一乍的了。”
“我刚才在里面盯了半天了,圣何塞那边的服务器稳如泰山,别说现在才几百万人了,就是再来两千万人同时在线聊天,它也不会卡一下的!”
奥尔特曼还是不敢相信,转过头问道:
“为什么啊?当年脸书和推特火起来的时候,几十万人就能把机房干趴下,咱们这可是最吃算力的千亿大模型啊,怎么可能连一毫秒都不抖?!”
旁边的联合创始人格雷格这时候也看明白了后台的架构图,忍不住倒吸了一口凉气,苦笑着拍了拍奥尔特曼的肩膀:
“萨姆,那是因为咱们以前见的都是些穷鬼创业公司,咱们根本没见识过,林哲先生这二十年来打造的物理底座,到底是个什么级别的怪物!”
格雷格伸手指着左边的网络流量图,给奥尔特曼解释道:
“你看这第一道防线,管网络带宽的。”
“普通创业公司上线,都是去租几根普通的商业宽带,几百万人一涌进来,门口的路直接就堵死了,能不报错吗?”
“可林先生给我们接的是什么?是Akamai的全球最高级别加速网,外加Level 3的跨大洋海底光缆和半个美国的骨干光纤网!”
“全球几十万台边缘服务器同时帮咱们分流,伦敦、东京、纽约的用户敲下一行字,直接就走林先生自家的专有海底光缆,连公网的堵车路段都不经过,直接秒传到硅谷!”
“咱们这点流量,扔进林先生那能够吞吐半个地球数据的光纤大水管里,连个水花都溅不起来!”
说完网络,格雷格又指了指右边那块显示着圣何塞负三层机房状态的屏幕,眼神里全是敬畏:
“再看这第二道防线,管大模型推理计算的。”
“咱们之前训练模型用的那八万张Volta架构显卡,只是林先生负三层机房的一部分!”
“就在咱们上周三上线网页的当天晚上,圣何塞机房那边连声招呼都没打,直接自动触发了负载均衡协议,把机房里另外闲置备用的四万张同级别企业级GpU,外加两万张专门负责高速缓存调度的纪元NpU阵列,全给咱们无缝并进来了!”
“整整十二万张顶级显卡泡在液冷管道里同时干活啊!”
“萨姆,这就好比别人开小饭馆,后厨就一个厨子一口锅,来十桌客人就忙得冒烟了;而林先生直接在咱们后厨摆了十万个顶级厨师和十万口高压锅,外头来几百万人点菜,一人分摊下来连塞牙缝都不够,服务器怎么可能宕机?!”
听完格雷格这番拆解,大厅里鸦雀无声。
奥尔特曼站在监控台前,呆呆地看着屏幕上的11.2毫秒延迟线,好半天才长长地吐出了一口气。
他一屁股坐在了旁边的办公椅上,嘴里喃喃自语道:“十二万张顶级GpU……全球最大的海底光缆和网络……”
“难怪……难怪当初扎克伯格的脸书和陈士骏的Youtube能在硅谷横扫一切对手,原来站在林哲先生的这套物理底座上面打仗,感觉是这么爽啊!”
这一刻,奥尔特曼彻底服了。
他无比庆幸自己去年十月份没有硬撑着跟林哲翻脸,而是老老实实签了那份出让百分之四十九利润的合同。
要是没有林哲这座深不见底的钢铁靠山,光靠他们自己去外面租服务器,今天这波几百万人的流量海啸涌过来,他们openAI当场就得被拍得粉身碎骨!
……
就在奥尔特曼在旧金山感叹自家底座稳如泰山的时候。
往南几十公里外的圣何塞,纪元公司总部大楼顶层。
总裁办公室里,窗明几净。
林哲正舒舒服服地靠在老板椅上,手里端着他的枸杞保温杯,一边喝茶,一边看着面前的平板电脑。
大卫站在办公桌对面,手里也拿着个文件夹,脸上笑得见牙不见眼,嘴角都快裂到后脑勺去了。
“老板,您看看这个表!”
大卫指着平板电脑上正在实时刷新的一张财务后台报表,声音里全是按捺不住的兴奋劲儿:
“刚才旧金山那边的注册用户正式突破一百万了,而且还在以每天几百万的速度往上狂飙!”
“现在全世界的网友都在跟疯了一样找chatGpt聊天!”
林哲低头瞅了一眼平板电脑屏幕。
他看的可不是什么用户注册数,他对那玩意儿没兴趣。
他屏幕上开着的,是纪元公司负三层超级算力中心专门针对openAI账户设置的:【实时ApI调用与算力消耗计费总表】!
按照林哲去年跟奥尔特曼签的那份合同。
openAI所有的模型训练、还有上线之后每一秒钟的推理服务,必须百分之百跑在纪元公司的地下机房里,按最高商业标准实时扣费!
在普通网友眼里,chatGpt是个完全免费的大善人网站,注册个邮箱就能随便聊,一分钱不花。
可在林哲这个机房房东眼里,天底下哪有什么免费的事儿?