重生1996:我教黄老板做显卡 第582章 GPT-3基座模型
热门推荐:
千万月薪:女总裁拿我当专属奴隶
约战,选我当主角?大可不必!
重生1996:我教黄老板做显卡
扶春枝
诸天恶人:我的良心被狗吃了
全球玩家苦练武,就我一人在修仙
六零:被顶替的司令千金重生了
王重阳?滚来修仙!
终极进化路
时间一晃,到了2019年3月中旬。
距离林哲一家三口在瑞士雪山吃铜锅涮肉,已经过去了两个多月。
这两个多月里,林哲回到加州圣何塞之后,日子过得非常清闲。
每天准时去纪元公司总部打个卡,泡上一杯枸杞茶,往真皮沙发上一瘫就开始打游戏。
至于他从瑞士带回来的那个加密U盘。
林哲早让大卫给里面的东西打印了出来,随手塞进了办公桌最底下的抽屉里吃灰。
大卫前两天还问他,要不要把这几页纸给旧金山那边送过去。
林哲当时直接翻了个白眼。
现在送过去干啥?
旧金山那帮心高气傲的科学家,现在正拿着八万张顶级显卡在兴头上呢,还没撞南墙、还没把头撞出大包来,你这时候把拐杖递过去,人家根本不知道感恩。
就得等他们把钱烧得差不多了,卡在死胡同里哭爹喊娘的时候,再慢悠悠地把这几页纸扔出去,那才叫救命之恩!
林哲在圣何塞清闲自在,可几十公里外的旧金山,却是另外一副画风。
先锋大厦,openAI总部办公楼。
这地方现在要是让外人走进来,准得以为自己进了一个大型流浪汉收容所。
没办法,毕竟这帮平时拿着两三百万美金年薪的顶尖AI博士们,已经在这栋楼里连轴转地熬了两个多月了!
从今年一月初开始,这帮人就彻底进入了疯魔状态。
为啥这么疯?
因为他们手里的家伙事儿,彻底鸟枪换炮了!
去年十二月底,英伟达的老板黄仁勋亲自押着防弹车队,把最后一批两万张显卡送进了纪元公司的地下三层机房。
加上之前送过去的三万张,还有原来的三万张老卡。
现在,在圣何塞纪元总部大楼地底下的黑色机柜里,整整八万张老黄最新一代的Volta架构企业级GpU,全都归他们openAI一个团队调遣!
那可是八万张专门塞了tensor core(张量核心)的顶级算力怪兽!
放在以前,伊利亚他们跑个几百亿参数的模型,还得天天盯着右上角的免费额度倒计时,生怕哪天林哲一不高兴就把电闸给拉了。
可自从奥尔特曼签了那份出让百分之四十九利润的霸王合同,林哲首期十亿美金的纯现金第二天就打进了账户里,还给他们开了负三层机房的最高S级无上限权限。
没了缺钱和断电的烦恼,首席科学家伊利亚就像是一头被放进玉米地里的野猪,彻底撒了欢了!
他干的事儿简单粗暴到了极点,就四个字:
暴力喂养!
伊利亚直接把全公司所有的研发人员分成了三班倒,二十四小时人休机器不休。
他们花高价租下了全美最粗的跨洋海底光缆带宽,把整个互联网都快给扒干净了。
维基百科的所有词条、几千万本扫描版电子书、各大新闻网站几十年的历史文章、代码托管网站上的几十亿行开源代码,甚至连海外各大论坛上网友吵架灌水的帖子。
不管好坏,凑了足足几百个t的海量数据包,没日没夜地往那八万张显卡的肚子里硬塞!
按照林哲定的商业收费标准,就他们现在这个疯狂的烧法,每个月光是交给纪元公司机房的算力租金和工业电费,就高达一个多亿美金!
平均每天一睁眼,几百万美金就没了!
但伊利亚一点都不心疼,反正账上有林哲给的几十亿美金撑着呢,不烧白不烧!
此时此刻。
先锋大厦最里面的核心研发机房里。
几十台本地监控服务器的风扇呜呜直响。
机房正中间的主控台前,围了二三十号人。
站在最前面的,正是首席科学家伊利亚。
经过这两个多月的极限熬夜,这哥们脑门顶上原本就不多的那几撮鸡窝头,又光荣下岗了一半,现在看着比电灯泡还要亮堂。
他正盯着面前的三块大屏幕。
在他旁边,联合创始人格雷格和十几个核心算法主管,一个个手里捏着半凉的咖啡杯,连大气都不敢喘一口。
所有人的目光,全都集中在大屏幕正中央的两个数字上。
【当前模型激活参数量:175,000,000,000(1750亿)】
【第120轮全量预训练进度:99.97%】
一千七百五十亿参数!
这就是伊利亚做梦都在念叨的千亿级大关,内部代号:Gpt-3基座模型!
要知道,在2019年3月的美国科技圈,这个数字说出去是能把人吓死的。
现在硅谷的同行们,包括谷歌大脑和脸书的AI实验室,平时搞个几亿参数、十几亿参数的模型,就已经觉得很大了,发论文的时候都敢吹自己是行业巅峰。
可伊利亚靠着林哲给的transformer底层架构,再踩着纪元机房里八万张顶级显卡的暴力算力,直接把参数规模往上硬拔了上百倍,推到了恐怖的一千七百五十亿!
但越是到最后关头,屋里这帮人心里就越发毛。
搞过大模型训练的人都知道,参数量堆到千亿级别之后,最怕的就是模型在最后时刻训崩了。
一旦底层的梯度爆炸,或者训练损失曲线(Loss curve)在最后关头压不下去、突然往上乱跳,那他们这大半年烧掉的十几个亿美金、几万张显卡跑出来的权重数据,瞬间就会变成一堆毫无用处的电子垃圾!
“99.98%了……”
旁边的格雷格声音干巴巴地念了一句。
伊利亚一句话没说,一眨不眨地盯着屏幕右侧那条红色的训练损失曲线。
在前几天冲击千亿参数的时候,这条红线跟发了羊癫疯似的,上蹿下跳,好几次差点直接崩盘,全靠伊利亚带着人连夜手动改学习率才给硬拽了回来。
而现在,进度条跳到了99.99%!
最后几十个批次的语料数据,在圣何塞地下机房那八万张显卡的蓝色光海里,被瞬间碾碎、消化!
滴——!!
主控台发出一声长鸣!
屏幕上的进度条,跳到了【100.00%】!
紧接着,在全场几十双眼睛的注视下。
屏幕右边那条原本还在微微抖动的红色训练损失曲线,猛地往下一沉,顺着最底部的黄金基准线,拉出了一条平平整整、丝滑无比的直线!
底下瞬间弹出了一行系统提示:
【全量预训练完成!损失函数完美收敛!模型权重已锁定!】
机房里安静了片刻。
所有人呆呆地看着那条平直的红线。
下一秒。
“啊啊啊啊——!!收敛了!完美收敛了!!”
伊利亚突然发出一声狂喜尖叫,他转身一把抱住旁边的格雷格,扯着嗓子狂吼:
“格雷格!你看到了吗?!曲线压到底了!没有梯度爆炸!没有崩盘!”
“一千七百五十亿参数!我们跨过千亿门槛了!我们把人类历史上最大的巨兽给炼出来了!!”
这一嗓子喊出来,整个核心机房瞬间像炸了锅一样,彻底沸腾了!
“耶——!!成功了!!”
“老天爷啊!一千七百五十亿!我们干成了!!”
二十多个平时斯斯文文的顶尖博士,这会儿全疯了。
有人直接把手里的文件夹往天上一扬,纸片跟下雪似的落了一地;有人把鼠标垫当飞盘往外扔;还有几个研究员抱在一起又蹦又跳,哭得鼻涕一把泪一把。
角落里负责后勤的工程师,更是直接从桌子底下拎出几瓶早就准备好的香槟,咔嚓一下拔掉木塞,对着天花板就喷了起来!
距离林哲一家三口在瑞士雪山吃铜锅涮肉,已经过去了两个多月。
这两个多月里,林哲回到加州圣何塞之后,日子过得非常清闲。
每天准时去纪元公司总部打个卡,泡上一杯枸杞茶,往真皮沙发上一瘫就开始打游戏。
至于他从瑞士带回来的那个加密U盘。
林哲早让大卫给里面的东西打印了出来,随手塞进了办公桌最底下的抽屉里吃灰。
大卫前两天还问他,要不要把这几页纸给旧金山那边送过去。
林哲当时直接翻了个白眼。
现在送过去干啥?
旧金山那帮心高气傲的科学家,现在正拿着八万张顶级显卡在兴头上呢,还没撞南墙、还没把头撞出大包来,你这时候把拐杖递过去,人家根本不知道感恩。
就得等他们把钱烧得差不多了,卡在死胡同里哭爹喊娘的时候,再慢悠悠地把这几页纸扔出去,那才叫救命之恩!
林哲在圣何塞清闲自在,可几十公里外的旧金山,却是另外一副画风。
先锋大厦,openAI总部办公楼。
这地方现在要是让外人走进来,准得以为自己进了一个大型流浪汉收容所。
没办法,毕竟这帮平时拿着两三百万美金年薪的顶尖AI博士们,已经在这栋楼里连轴转地熬了两个多月了!
从今年一月初开始,这帮人就彻底进入了疯魔状态。
为啥这么疯?
因为他们手里的家伙事儿,彻底鸟枪换炮了!
去年十二月底,英伟达的老板黄仁勋亲自押着防弹车队,把最后一批两万张显卡送进了纪元公司的地下三层机房。
加上之前送过去的三万张,还有原来的三万张老卡。
现在,在圣何塞纪元总部大楼地底下的黑色机柜里,整整八万张老黄最新一代的Volta架构企业级GpU,全都归他们openAI一个团队调遣!
那可是八万张专门塞了tensor core(张量核心)的顶级算力怪兽!
放在以前,伊利亚他们跑个几百亿参数的模型,还得天天盯着右上角的免费额度倒计时,生怕哪天林哲一不高兴就把电闸给拉了。
可自从奥尔特曼签了那份出让百分之四十九利润的霸王合同,林哲首期十亿美金的纯现金第二天就打进了账户里,还给他们开了负三层机房的最高S级无上限权限。
没了缺钱和断电的烦恼,首席科学家伊利亚就像是一头被放进玉米地里的野猪,彻底撒了欢了!
他干的事儿简单粗暴到了极点,就四个字:
暴力喂养!
伊利亚直接把全公司所有的研发人员分成了三班倒,二十四小时人休机器不休。
他们花高价租下了全美最粗的跨洋海底光缆带宽,把整个互联网都快给扒干净了。
维基百科的所有词条、几千万本扫描版电子书、各大新闻网站几十年的历史文章、代码托管网站上的几十亿行开源代码,甚至连海外各大论坛上网友吵架灌水的帖子。
不管好坏,凑了足足几百个t的海量数据包,没日没夜地往那八万张显卡的肚子里硬塞!
按照林哲定的商业收费标准,就他们现在这个疯狂的烧法,每个月光是交给纪元公司机房的算力租金和工业电费,就高达一个多亿美金!
平均每天一睁眼,几百万美金就没了!
但伊利亚一点都不心疼,反正账上有林哲给的几十亿美金撑着呢,不烧白不烧!
此时此刻。
先锋大厦最里面的核心研发机房里。
几十台本地监控服务器的风扇呜呜直响。
机房正中间的主控台前,围了二三十号人。
站在最前面的,正是首席科学家伊利亚。
经过这两个多月的极限熬夜,这哥们脑门顶上原本就不多的那几撮鸡窝头,又光荣下岗了一半,现在看着比电灯泡还要亮堂。
他正盯着面前的三块大屏幕。
在他旁边,联合创始人格雷格和十几个核心算法主管,一个个手里捏着半凉的咖啡杯,连大气都不敢喘一口。
所有人的目光,全都集中在大屏幕正中央的两个数字上。
【当前模型激活参数量:175,000,000,000(1750亿)】
【第120轮全量预训练进度:99.97%】
一千七百五十亿参数!
这就是伊利亚做梦都在念叨的千亿级大关,内部代号:Gpt-3基座模型!
要知道,在2019年3月的美国科技圈,这个数字说出去是能把人吓死的。
现在硅谷的同行们,包括谷歌大脑和脸书的AI实验室,平时搞个几亿参数、十几亿参数的模型,就已经觉得很大了,发论文的时候都敢吹自己是行业巅峰。
可伊利亚靠着林哲给的transformer底层架构,再踩着纪元机房里八万张顶级显卡的暴力算力,直接把参数规模往上硬拔了上百倍,推到了恐怖的一千七百五十亿!
但越是到最后关头,屋里这帮人心里就越发毛。
搞过大模型训练的人都知道,参数量堆到千亿级别之后,最怕的就是模型在最后时刻训崩了。
一旦底层的梯度爆炸,或者训练损失曲线(Loss curve)在最后关头压不下去、突然往上乱跳,那他们这大半年烧掉的十几个亿美金、几万张显卡跑出来的权重数据,瞬间就会变成一堆毫无用处的电子垃圾!
“99.98%了……”
旁边的格雷格声音干巴巴地念了一句。
伊利亚一句话没说,一眨不眨地盯着屏幕右侧那条红色的训练损失曲线。
在前几天冲击千亿参数的时候,这条红线跟发了羊癫疯似的,上蹿下跳,好几次差点直接崩盘,全靠伊利亚带着人连夜手动改学习率才给硬拽了回来。
而现在,进度条跳到了99.99%!
最后几十个批次的语料数据,在圣何塞地下机房那八万张显卡的蓝色光海里,被瞬间碾碎、消化!
滴——!!
主控台发出一声长鸣!
屏幕上的进度条,跳到了【100.00%】!
紧接着,在全场几十双眼睛的注视下。
屏幕右边那条原本还在微微抖动的红色训练损失曲线,猛地往下一沉,顺着最底部的黄金基准线,拉出了一条平平整整、丝滑无比的直线!
底下瞬间弹出了一行系统提示:
【全量预训练完成!损失函数完美收敛!模型权重已锁定!】
机房里安静了片刻。
所有人呆呆地看着那条平直的红线。
下一秒。
“啊啊啊啊——!!收敛了!完美收敛了!!”
伊利亚突然发出一声狂喜尖叫,他转身一把抱住旁边的格雷格,扯着嗓子狂吼:
“格雷格!你看到了吗?!曲线压到底了!没有梯度爆炸!没有崩盘!”
“一千七百五十亿参数!我们跨过千亿门槛了!我们把人类历史上最大的巨兽给炼出来了!!”
这一嗓子喊出来,整个核心机房瞬间像炸了锅一样,彻底沸腾了!
“耶——!!成功了!!”
“老天爷啊!一千七百五十亿!我们干成了!!”
二十多个平时斯斯文文的顶尖博士,这会儿全疯了。
有人直接把手里的文件夹往天上一扬,纸片跟下雪似的落了一地;有人把鼠标垫当飞盘往外扔;还有几个研究员抱在一起又蹦又跳,哭得鼻涕一把泪一把。
角落里负责后勤的工程师,更是直接从桌子底下拎出几瓶早就准备好的香槟,咔嚓一下拔掉木塞,对着天花板就喷了起来!