重生1996:我教黄老板做显卡 第488章 这很难吗?
热门推荐:
千万月薪:女总裁拿我当专属奴隶
约战,选我当主角?大可不必!
重生1996:我教黄老板做显卡
扶春枝
诸天恶人:我的良心被狗吃了
全球玩家苦练武,就我一人在修仙
六零:被顶替的司令千金重生了
王重阳?滚来修仙!
终极进化路
大卫开着防弹凯迪拉克,平稳地行驶在前往旧金山的高速公路上。
车里放着轻松的流行音乐。
大卫一边握着方向盘,一边还是忍不住直乐呵:“老板,我一想起后台那个百分之零点一的利用率,我就想笑。”
“马斯克这回跟头栽得太大了。”
“他拿了咱们五个亿现金,还到处吹牛说要干翻谷歌。”
“结果呢?”
“在办公室里憋了几个月,憋了一坨大的。”
大卫摇着头,满脸都是吃瓜群众的快乐。
林哲坐在副驾驶上,手里拿着一瓶矿泉水。
他拧开盖子喝了一口,看着窗外的风景。
“行了,别乐了。”
“老马也是要面子的人,等会儿到了地方,你收敛点。”
“好歹咱们现在是openAI的最大金主,是过去视察工作的。”
“你这一脸幸灾乐祸的,容易挨打。”
大卫赶紧收起笑容,一本正经地点了点头。
“放心吧老板,我是受过专业训练,一般不会笑出声。”
车子很快开进了旧金山市区。
停在了openAI办公的写字楼楼下。
两人下了车,直接坐电梯上楼。
刚走到那一层,还没推开玻璃门呢,就听见里面传来一阵大吼大叫。
“这路子根本走不通!”
“换模型!必须换模型!”
“可是换什么啊!除了RNN还能用什么!”
林哲和大卫对视了一眼。
大卫耸了耸肩,伸手推开了办公室的大门。
刚进去,林哲就微微皱了皱眉头。
这办公室里的画风,简直比伊拉克的战场还要惨烈。
几十个顶尖科学家,一个个顶着鸡窝头,眼底全是黑眼圈。
地上到处都是废纸团和空易拉罐。
马斯克正站在办公室中央,双手叉腰,黑着一张脸,跟伊利亚大声争论着什么。
听到开门声。
所有人全都停了下来,转头看向门口。
一看到是林哲来了。
办公室里瞬间安静下来。
大家都不吭声了。
马斯克的脸刷的一下就红了,然后又变白了。
尴尬。
太尴尬了。
拿了人家大老板五个亿的纯现金赞助。
还大言不惭地保证要出成果。
结果几个月过去了,毛都没弄出来一根。
现在大金主亲自上门视察了,这不就是公开处刑嘛。
“林……你怎么来了?”
马斯克硬着头皮迎了上去。
他努力挤出一个笑容:
“也不提前打个招呼,我好派人去接你啊。”
林哲摆了摆手,自顾自地往办公室里面走。
“接什么接,我又不是不认识路。”
“我这不是在家里闲着没事干,过来看看你们这帮拯救世界的大英雄嘛。”
林哲四处打量了一下:“怎么?看这架势,拯救世界的进度不太顺利啊?”
马斯克干咳了两声,试图挽尊。
“咳咳,遇到了一点小小的技术挑战。”
“科学研究嘛,总是充满了曲折的。”
“我们正在排查底层的逻辑问题,很快就能搞定。”
林哲直接没搭理他那套外交辞令。
他径直走到伊利亚的办公桌前。
伊利亚现在整个人跟丢了魂似的,瘫在椅子上,双眼无神地盯着电脑屏幕。
“伊利亚是吧?”
“跟我说说,卡在哪了?”
伊利亚抬起头,看了林哲一眼。
他知道这是掏钱的大老板,但他现在满脑子都是代码,根本没心思搞什么客套,声音沙哑道:“卡在序列上了。”
“老板,这不是钱的问题,也不是算力的问题。”
“是数学架构把我们卡死了。”
伊利亚指着墙上那块画满公式的巨大白板。
上面画着一串一串的圆圈,用箭头一个接一个地连在一起:“您看,这就是我们现在用的RNN和LStm架构。”
“处理文字,我们只能让机器像人一样,一个字一个字地去读。”
伊利亚越说越激动,直接站了起来。
“但这么干,有两个致命的问题!”
“第一,没法并行计算!”
“机器必须等第一个词处理完,才能处理第二个词。”
“您给我们提供的那些GpU显卡,全都在排队挂机!”
“几万张显卡啊,全在睡大觉,干活的就那么一小撮,效率低得发指!”
伊利亚喘了口气,指着屏幕上的一段测试文本:“第二,脑容量太小!”
“句子一长,它就全忘了!”
“我们喂给它一本《哈利波特》。”
“读到第三章,它就把哈利波特是个巫师这事儿给忘了!”
“它居然在后面写,哈利波特是个修水管的工人!”
“这还怎么玩?”
“长文本根本处理不了,更别提什么生成式人工智能了,全都是扯淡!”
伊利亚一口气把心里的憋屈全倒了出来。
办公室里其他的科学家也都纷纷点头,一个个唉声叹气。
马斯克站在旁边,脸色难看极了。
他觉得伊利亚太不给他面子了。
怎么能当着大老板的面,把话说得这么绝望呢。
这不是摆明了告诉林哲,你的五个亿打水漂了吗。
“伊利亚!别说了!”马斯克低声呵斥了一句。
“林,你别听他抱怨,我们肯定能找到解决办法的。”
林哲根本没理会马斯克。
他静静地听着伊利亚把苦水倒完。
然后。
林哲叹了一口气。
“唉。”
所有人都看向林哲。
大家心里都在打鼓,大老板叹气了,这是要撤资了吗?
这是要翻脸了吗?
结果。
林哲什么都没说。
他直接走到了那块巨大白板前面,拿起放在白板槽里的黑板擦。
唰唰唰。
几下子,把伊利亚他们熬了几个通宵写出来的那些RNN序列公式。
全部擦得干干净净。
整个办公室的人全看傻了。
伊利亚更是急得大喊出声:“老板!你干嘛!那都是我们的推导过程啊!”
林哲把黑板擦随手一扔,转过身,看着这帮目瞪口呆的顶尖大脑。
“推导过程?”
“方向都错了,推导得再多也是一堆垃圾。”
林哲这话说得一点情面都没留。
直接把全场给镇住了。
他转回身,拿起一支黑色马克笔。
拔掉笔帽,在空无一物的白板上,直接画了一个巨大的矩阵。
里面有很多个点。
然后,他用笔,把每一个点,跟所有的点,全都用线连了起来。
密密麻麻的交叉线,构成了一张网。
画完图。
林哲转过身,用马克笔在白板的空白处,写下了一串英文字母。
Self-Attention。
写完之后。
林哲把马克笔盖上,扔在桌子上。
他指着白板上的字,说道:
“你们这帮人啊,书读得太多,脑子读傻了。”
“你们老是想着,机器要像人一样看书。”
“人是一目十行,一个字一个字看,那是因为人长着两只眼睛,人的处理机制就是串行的。”
“但机器是人吗?”
“机器没有眼睛!机器有的是成千上万个计算核心!”
林哲敲了敲白板:“你们非要让机器排队过独木桥,那不卡死才怪了!”
“干嘛非要一个字一个字地喂给它?”
“不要排队!”
“把一整段话,一整本书,所有的词,在同一时间,全部喂给机器!”
“一眼看全!”
底下的人全听懵了。
伊利亚结结巴巴地问:“全部一起喂进去?那……那句子里的顺序怎么办?机器怎么知道谁在前谁在后?”
林哲冷笑了一声。
“顺序?加个位置编码不就行了。”
“给每个词贴个数字标签,告诉机器它在第几个位置。”
“这很难吗?”
车里放着轻松的流行音乐。
大卫一边握着方向盘,一边还是忍不住直乐呵:“老板,我一想起后台那个百分之零点一的利用率,我就想笑。”
“马斯克这回跟头栽得太大了。”
“他拿了咱们五个亿现金,还到处吹牛说要干翻谷歌。”
“结果呢?”
“在办公室里憋了几个月,憋了一坨大的。”
大卫摇着头,满脸都是吃瓜群众的快乐。
林哲坐在副驾驶上,手里拿着一瓶矿泉水。
他拧开盖子喝了一口,看着窗外的风景。
“行了,别乐了。”
“老马也是要面子的人,等会儿到了地方,你收敛点。”
“好歹咱们现在是openAI的最大金主,是过去视察工作的。”
“你这一脸幸灾乐祸的,容易挨打。”
大卫赶紧收起笑容,一本正经地点了点头。
“放心吧老板,我是受过专业训练,一般不会笑出声。”
车子很快开进了旧金山市区。
停在了openAI办公的写字楼楼下。
两人下了车,直接坐电梯上楼。
刚走到那一层,还没推开玻璃门呢,就听见里面传来一阵大吼大叫。
“这路子根本走不通!”
“换模型!必须换模型!”
“可是换什么啊!除了RNN还能用什么!”
林哲和大卫对视了一眼。
大卫耸了耸肩,伸手推开了办公室的大门。
刚进去,林哲就微微皱了皱眉头。
这办公室里的画风,简直比伊拉克的战场还要惨烈。
几十个顶尖科学家,一个个顶着鸡窝头,眼底全是黑眼圈。
地上到处都是废纸团和空易拉罐。
马斯克正站在办公室中央,双手叉腰,黑着一张脸,跟伊利亚大声争论着什么。
听到开门声。
所有人全都停了下来,转头看向门口。
一看到是林哲来了。
办公室里瞬间安静下来。
大家都不吭声了。
马斯克的脸刷的一下就红了,然后又变白了。
尴尬。
太尴尬了。
拿了人家大老板五个亿的纯现金赞助。
还大言不惭地保证要出成果。
结果几个月过去了,毛都没弄出来一根。
现在大金主亲自上门视察了,这不就是公开处刑嘛。
“林……你怎么来了?”
马斯克硬着头皮迎了上去。
他努力挤出一个笑容:
“也不提前打个招呼,我好派人去接你啊。”
林哲摆了摆手,自顾自地往办公室里面走。
“接什么接,我又不是不认识路。”
“我这不是在家里闲着没事干,过来看看你们这帮拯救世界的大英雄嘛。”
林哲四处打量了一下:“怎么?看这架势,拯救世界的进度不太顺利啊?”
马斯克干咳了两声,试图挽尊。
“咳咳,遇到了一点小小的技术挑战。”
“科学研究嘛,总是充满了曲折的。”
“我们正在排查底层的逻辑问题,很快就能搞定。”
林哲直接没搭理他那套外交辞令。
他径直走到伊利亚的办公桌前。
伊利亚现在整个人跟丢了魂似的,瘫在椅子上,双眼无神地盯着电脑屏幕。
“伊利亚是吧?”
“跟我说说,卡在哪了?”
伊利亚抬起头,看了林哲一眼。
他知道这是掏钱的大老板,但他现在满脑子都是代码,根本没心思搞什么客套,声音沙哑道:“卡在序列上了。”
“老板,这不是钱的问题,也不是算力的问题。”
“是数学架构把我们卡死了。”
伊利亚指着墙上那块画满公式的巨大白板。
上面画着一串一串的圆圈,用箭头一个接一个地连在一起:“您看,这就是我们现在用的RNN和LStm架构。”
“处理文字,我们只能让机器像人一样,一个字一个字地去读。”
伊利亚越说越激动,直接站了起来。
“但这么干,有两个致命的问题!”
“第一,没法并行计算!”
“机器必须等第一个词处理完,才能处理第二个词。”
“您给我们提供的那些GpU显卡,全都在排队挂机!”
“几万张显卡啊,全在睡大觉,干活的就那么一小撮,效率低得发指!”
伊利亚喘了口气,指着屏幕上的一段测试文本:“第二,脑容量太小!”
“句子一长,它就全忘了!”
“我们喂给它一本《哈利波特》。”
“读到第三章,它就把哈利波特是个巫师这事儿给忘了!”
“它居然在后面写,哈利波特是个修水管的工人!”
“这还怎么玩?”
“长文本根本处理不了,更别提什么生成式人工智能了,全都是扯淡!”
伊利亚一口气把心里的憋屈全倒了出来。
办公室里其他的科学家也都纷纷点头,一个个唉声叹气。
马斯克站在旁边,脸色难看极了。
他觉得伊利亚太不给他面子了。
怎么能当着大老板的面,把话说得这么绝望呢。
这不是摆明了告诉林哲,你的五个亿打水漂了吗。
“伊利亚!别说了!”马斯克低声呵斥了一句。
“林,你别听他抱怨,我们肯定能找到解决办法的。”
林哲根本没理会马斯克。
他静静地听着伊利亚把苦水倒完。
然后。
林哲叹了一口气。
“唉。”
所有人都看向林哲。
大家心里都在打鼓,大老板叹气了,这是要撤资了吗?
这是要翻脸了吗?
结果。
林哲什么都没说。
他直接走到了那块巨大白板前面,拿起放在白板槽里的黑板擦。
唰唰唰。
几下子,把伊利亚他们熬了几个通宵写出来的那些RNN序列公式。
全部擦得干干净净。
整个办公室的人全看傻了。
伊利亚更是急得大喊出声:“老板!你干嘛!那都是我们的推导过程啊!”
林哲把黑板擦随手一扔,转过身,看着这帮目瞪口呆的顶尖大脑。
“推导过程?”
“方向都错了,推导得再多也是一堆垃圾。”
林哲这话说得一点情面都没留。
直接把全场给镇住了。
他转回身,拿起一支黑色马克笔。
拔掉笔帽,在空无一物的白板上,直接画了一个巨大的矩阵。
里面有很多个点。
然后,他用笔,把每一个点,跟所有的点,全都用线连了起来。
密密麻麻的交叉线,构成了一张网。
画完图。
林哲转过身,用马克笔在白板的空白处,写下了一串英文字母。
Self-Attention。
写完之后。
林哲把马克笔盖上,扔在桌子上。
他指着白板上的字,说道:
“你们这帮人啊,书读得太多,脑子读傻了。”
“你们老是想着,机器要像人一样看书。”
“人是一目十行,一个字一个字看,那是因为人长着两只眼睛,人的处理机制就是串行的。”
“但机器是人吗?”
“机器没有眼睛!机器有的是成千上万个计算核心!”
林哲敲了敲白板:“你们非要让机器排队过独木桥,那不卡死才怪了!”
“干嘛非要一个字一个字地喂给它?”
“不要排队!”
“把一整段话,一整本书,所有的词,在同一时间,全部喂给机器!”
“一眼看全!”
底下的人全听懵了。
伊利亚结结巴巴地问:“全部一起喂进去?那……那句子里的顺序怎么办?机器怎么知道谁在前谁在后?”
林哲冷笑了一声。
“顺序?加个位置编码不就行了。”
“给每个词贴个数字标签,告诉机器它在第几个位置。”
“这很难吗?”