重生1996:我教黄老板做显卡 第549章 吞金巨兽
热门推荐:
千万月薪:女总裁拿我当专属奴隶
约战,选我当主角?大可不必!
重生1996:我教黄老板做显卡
扶春枝
诸天恶人:我的良心被狗吃了
全球玩家苦练武,就我一人在修仙
六零:被顶替的司令千金重生了
王重阳?滚来修仙!
终极进化路
同一时间。
旧金山,先锋大厦。
这里是openAI的总部办公楼。
跟纪元公司那种全黑防爆、像外星基地一样的豪华大楼比起来,这里看着就像个大号的大学实验室。
大厅里到处扔着懒人沙发,白板上写满了密密麻麻的数学公式。
在最里面的核心研发机房里。
首席科学家伊利亚,正盯着面前的三块大屏幕。
这哥们今年才三十出头,但脑门顶上的头发已经掉得差不多了,剩下的几撮头发乱糟糟地支棱着,像个鸡窝。
他身上那件灰色的格子衬衫,已经连着穿了四天,袖口上还沾着干掉的番茄酱。
但他本人完全不在乎这些。
此时此刻,伊利亚布满红血丝的眼睛里,闪烁着一种近乎疯魔的狂热光芒!
“天哪……太美了……这简直就是神迹!”
伊利亚嘴里不停地念叨着。
他的思绪忍不住飘回了2015年底的那个下午。
那时候,他们整个团队都被困在RNN(循环神经网络)的死胡同里,算力利用率连千分之一都不到,教出来的AI连句话都说不利索,动不动就把美国总统华盛顿识别成一只吃轮胎的猫。
就在所有人都绝望的时候,林哲来了。
那个明明是个超级资本家、却比全世界所有科学家都懂技术的男人,只是随手擦掉了白板上的公式,画出了一个叫“Self-Attention(自注意力机制)”的矩阵图。
就是那张图,彻底敲碎了困扰人工智能几十年的枷锁!
后来的这两年多时间里,伊利亚带着团队,顺着林哲指出的这条明路,彻底抛弃了老旧的序列模型,全力扑在transformer架构上。
效果简直可以用恐怖来形容!
因为可以并行计算,模型吞噬文本数据的速度,比以前快了足足上千倍!
借着纪元公司地下算力中心那几万张顶级GpU的暴力支持,伊利亚像个喂不饱的饕餮一样,把整个维基百科、几千万本电子书、还有全网能扒下来的高质量网页,全都一股脑地塞进了模型的大肚子里面。
以前,模型只是个会死记硬背的复读机。
但就在刚才!
当模型的参数量突破了百亿大关,训练损失曲线突然出现了一个断崖式的下跌!
伊利亚颤抖着手,在键盘上敲下了一行测试指令。
他没有给模型任何现成的参考答案,而是直接出了一道需要转好几个弯的逻辑推理题,外加一段从来没见过的复杂故事开头,让模型自己往下编。
仅仅过了几秒钟。
屏幕上,一行行绿色的英文字母飞快地跳了出来。
逻辑严密!
语法完美!
不仅完全算对了那道绕脑子的推理题,后面续写的故事更是有头有尾,甚至还自己加上了一段冷幽默的吐槽!
紧接着,伊利亚又试着让它用python语言写一段贪吃蛇的小游戏代码。
刷刷刷!
几十行干净漂亮的代码瞬间生成,连注释都写得清清楚楚,复制出来直接就能运行!
“涌现!这就是逻辑涌现!”
伊利亚激动得直接从椅子上蹦了起来,一脚踢翻了脚边的空咖啡杯。
他根本没工夫去管地上的垃圾,转过身,冲着机房大门扯着嗓子狂喊:
“萨姆!萨姆!你快过来!快来看啊!”
“我们成功了!它长出脑子了!它真的长出脑子了!”
机房的门被人从外面推开了。
openAI的cEo萨姆·奥尔特曼走了进来。
这位平时总是穿着得体的毛衣、脸上挂着精英微笑的年轻总裁,今天看起来状态非常糟糕。
他脸色惨白,额头上全是一层细密的冷汗,手里紧紧捏着一沓刚打印出来的财务报表,连走路的脚步都有点发飘。
伊利亚根本没注意到奥尔特曼那难看的脸色。
他一步冲上前,一把拽住奥尔特曼的胳膊,硬生生把他拉到了电脑屏幕前面。
“萨姆!你看这个损失曲线!你看它刚才生成的代码!”
伊利亚唾沫星子乱飞,激动得手舞足蹈:
“林先生当年指给我们的路是对的!完全是对的!”
“只要把transformer的层数堆上去,只要把参数量拉大,量变真的能引起质变!”
“它现在已经不是在拼凑单词了,它理解了人类语言的底层逻辑!”
伊利亚抓着奥尔特曼的肩膀,用力摇晃着,眼神狂热得像个邪教头子:
“我现在彻底看明白了!大力出奇迹!算力就是一切!”
“萨姆,我们现在的规模还不够大!远远不够!”
“你马上去帮我再调集十倍的算力!我要再加五万张英伟达最新的GpU!我要把参数量直接推到千亿级别!”
“只要给我足够的算力,明年这个时候,我就能给你造出一个真正的数字上帝!把谷歌的deepmind按在地上摩擦!”
奥尔特曼被伊利亚晃得脑袋发晕。
他看着屏幕上那些神奇的文字,又看了看眼前这个陷入狂热的科学怪人,嘴角露出了一丝苦笑。
“五万张GpU?”
“十倍算力?”
奥尔特曼深吸了一口气,一把拉开伊利亚抓着自己肩膀的手。
啪!
他直接把手里的那沓厚厚的财务报表,重重拍在了键盘上,挡住了伊利亚的视线。
“伊利亚,你给我醒醒!”
“别在这做什么千亿参数的美梦了!”
“你自己低头看看这份报表!我们现在别说去弄五万张显卡了,我们下个月连这个破办公室的电费都交不起了!”
旧金山,先锋大厦。
这里是openAI的总部办公楼。
跟纪元公司那种全黑防爆、像外星基地一样的豪华大楼比起来,这里看着就像个大号的大学实验室。
大厅里到处扔着懒人沙发,白板上写满了密密麻麻的数学公式。
在最里面的核心研发机房里。
首席科学家伊利亚,正盯着面前的三块大屏幕。
这哥们今年才三十出头,但脑门顶上的头发已经掉得差不多了,剩下的几撮头发乱糟糟地支棱着,像个鸡窝。
他身上那件灰色的格子衬衫,已经连着穿了四天,袖口上还沾着干掉的番茄酱。
但他本人完全不在乎这些。
此时此刻,伊利亚布满红血丝的眼睛里,闪烁着一种近乎疯魔的狂热光芒!
“天哪……太美了……这简直就是神迹!”
伊利亚嘴里不停地念叨着。
他的思绪忍不住飘回了2015年底的那个下午。
那时候,他们整个团队都被困在RNN(循环神经网络)的死胡同里,算力利用率连千分之一都不到,教出来的AI连句话都说不利索,动不动就把美国总统华盛顿识别成一只吃轮胎的猫。
就在所有人都绝望的时候,林哲来了。
那个明明是个超级资本家、却比全世界所有科学家都懂技术的男人,只是随手擦掉了白板上的公式,画出了一个叫“Self-Attention(自注意力机制)”的矩阵图。
就是那张图,彻底敲碎了困扰人工智能几十年的枷锁!
后来的这两年多时间里,伊利亚带着团队,顺着林哲指出的这条明路,彻底抛弃了老旧的序列模型,全力扑在transformer架构上。
效果简直可以用恐怖来形容!
因为可以并行计算,模型吞噬文本数据的速度,比以前快了足足上千倍!
借着纪元公司地下算力中心那几万张顶级GpU的暴力支持,伊利亚像个喂不饱的饕餮一样,把整个维基百科、几千万本电子书、还有全网能扒下来的高质量网页,全都一股脑地塞进了模型的大肚子里面。
以前,模型只是个会死记硬背的复读机。
但就在刚才!
当模型的参数量突破了百亿大关,训练损失曲线突然出现了一个断崖式的下跌!
伊利亚颤抖着手,在键盘上敲下了一行测试指令。
他没有给模型任何现成的参考答案,而是直接出了一道需要转好几个弯的逻辑推理题,外加一段从来没见过的复杂故事开头,让模型自己往下编。
仅仅过了几秒钟。
屏幕上,一行行绿色的英文字母飞快地跳了出来。
逻辑严密!
语法完美!
不仅完全算对了那道绕脑子的推理题,后面续写的故事更是有头有尾,甚至还自己加上了一段冷幽默的吐槽!
紧接着,伊利亚又试着让它用python语言写一段贪吃蛇的小游戏代码。
刷刷刷!
几十行干净漂亮的代码瞬间生成,连注释都写得清清楚楚,复制出来直接就能运行!
“涌现!这就是逻辑涌现!”
伊利亚激动得直接从椅子上蹦了起来,一脚踢翻了脚边的空咖啡杯。
他根本没工夫去管地上的垃圾,转过身,冲着机房大门扯着嗓子狂喊:
“萨姆!萨姆!你快过来!快来看啊!”
“我们成功了!它长出脑子了!它真的长出脑子了!”
机房的门被人从外面推开了。
openAI的cEo萨姆·奥尔特曼走了进来。
这位平时总是穿着得体的毛衣、脸上挂着精英微笑的年轻总裁,今天看起来状态非常糟糕。
他脸色惨白,额头上全是一层细密的冷汗,手里紧紧捏着一沓刚打印出来的财务报表,连走路的脚步都有点发飘。
伊利亚根本没注意到奥尔特曼那难看的脸色。
他一步冲上前,一把拽住奥尔特曼的胳膊,硬生生把他拉到了电脑屏幕前面。
“萨姆!你看这个损失曲线!你看它刚才生成的代码!”
伊利亚唾沫星子乱飞,激动得手舞足蹈:
“林先生当年指给我们的路是对的!完全是对的!”
“只要把transformer的层数堆上去,只要把参数量拉大,量变真的能引起质变!”
“它现在已经不是在拼凑单词了,它理解了人类语言的底层逻辑!”
伊利亚抓着奥尔特曼的肩膀,用力摇晃着,眼神狂热得像个邪教头子:
“我现在彻底看明白了!大力出奇迹!算力就是一切!”
“萨姆,我们现在的规模还不够大!远远不够!”
“你马上去帮我再调集十倍的算力!我要再加五万张英伟达最新的GpU!我要把参数量直接推到千亿级别!”
“只要给我足够的算力,明年这个时候,我就能给你造出一个真正的数字上帝!把谷歌的deepmind按在地上摩擦!”
奥尔特曼被伊利亚晃得脑袋发晕。
他看着屏幕上那些神奇的文字,又看了看眼前这个陷入狂热的科学怪人,嘴角露出了一丝苦笑。
“五万张GpU?”
“十倍算力?”
奥尔特曼深吸了一口气,一把拉开伊利亚抓着自己肩膀的手。
啪!
他直接把手里的那沓厚厚的财务报表,重重拍在了键盘上,挡住了伊利亚的视线。
“伊利亚,你给我醒醒!”
“别在这做什么千亿参数的美梦了!”
“你自己低头看看这份报表!我们现在别说去弄五万张显卡了,我们下个月连这个破办公室的电费都交不起了!”