重生1996:我教黄老板做显卡 第487章 Transformer架构
热门推荐:
千万月薪:女总裁拿我当专属奴隶
约战,选我当主角?大可不必!
重生1996:我教黄老板做显卡
扶春枝
诸天恶人:我的良心被狗吃了
全球玩家苦练武,就我一人在修仙
六零:被顶替的司令千金重生了
王重阳?滚来修仙!
终极进化路
面对马斯克的发火,办公室里的科学家们一个个都不敢吭声。
大家心里都憋屈,但拿不出成果,确实没底气反驳。
只有伊利亚硬着头皮站了起来。
“埃隆,这不能怪我们!”
“这不是钱和显卡的问题!”
伊利亚红着眼圈,大声跟马斯克争辩。
“是基础科学遇到了瓶颈!”
“传统的序列模型根本跑不动海量数据!它没法并行计算!”
“显卡再多有什么用?架构卡死了,显卡全在睡大觉!”
“而且文本一长,它就是记不住前面的东西,这是数学原理决定的!”
马斯克根本不听这些技术术语。
他是个商人,是个要结果的老板。
“我不管什么数学原理!”
“我只知道谷歌的AlphaGo马上就要去跟人类下围棋了!”
“全天下都在看着我们!”
“我们要是拿不出一套能打的东西,openAI就是一个天大的笑话!”
马斯克急躁地在办公室里走来走去。
“改!马上给我改!”
“不行就推倒重来!”
“必须找出一个能让显卡全速运转,能让它看懂整本书的新算法!”
伊利亚颓废地跌坐回椅子上。
“推倒重来?说得容易。”
“哪有新算法啊。”
“全世界的学术圈都在用RNN,这已经是目前人类能想到的最好方案了。”
“不用这个,难道我们自己凭空捏一个新架构出来吗?”
办公室里再次陷入了一片寂静。
所有人都知道,他们撞上了一堵看不见的水泥墙。
最顶尖的大脑,最强的算力。
被一个看似简单的人类阅读习惯,给卡住了。
……
此时此刻。
加州,阿瑟顿富人区。
林哲的超级豪宅里,画风跟openAI的办公室截然不同。
阳光明媚,鸟语花香。
林哲正半躺在客厅的真皮沙发上。
手里拿着个游戏手柄,正对着大屏幕电视玩着最新出的主机游戏。
屏幕里枪战打得火热,林哲玩得不亦乐乎。
大卫手里拿着一份厚厚的数据报告,从外面走了进来。
他一边走,一边看着手里的报告,嘴角不停地抽搐,想笑又不敢大声笑。
“老板。”
大卫走到沙发跟前,把报告放在茶几上。
“您快看一眼这份报告吧,简直要笑死我了。”
林哲眼睛盯着电视屏幕,手柄按得啪啪作响:“什么报告这么好笑?老黄又在发布会上穿反皮衣了?”
大卫摇了摇头,指着报告。
“不是老黄,是马斯克那帮人。”
“这是咱们纪元地下算力中心刚刚发过来的后台监控数据。”
大卫清了清嗓子,大声念了起来。
“本月,分配给openAI专属通道的GpU集群,总体算力利用率……”
大卫故意拖长了声音。
“百分之零点一!”
大卫说完,直接没忍住,哈哈大笑起来。
“老板,百分之零点一啊!”
“几万张顶配的显卡,插在机柜里,连风扇都不带转的!”
“监控室的主管跟我说,他们那边机房的温度,比咱们大厅的空调还要冷!”
“显卡全在吃灰!”
大卫笑得眼泪都快出来了。
“马斯克那小子当初信誓旦旦,说要把咱们的显卡烧冒烟。”
“结果现在呢?”
“电费单打出来,连个零头都不到。”
“他们这是拿高射炮打蚊子啊,不对,他们是连炮管都不知道怎么打开!”
林哲听到这数据,一点都不觉得意外。
他按下一个按键,屏幕上的敌人被一枪爆头。
林哲把手柄扔到一边,靠在沙发上,懒洋洋地说道:“这有什么好笑的,完全在预料之中。”
“他们去搞大语言模型,非要用RNN那种老掉牙的序列架构。”
“那玩意儿就是个串联电路。”
“必须一个一个来。”
“咱们的显卡是并联电路,是用来同时干活的。”
“牛头不对马嘴,算力利用率能高才怪了。”
大卫拉过一张椅子坐下,满脸的好奇。
“老板,既然您早就知道他们跑不动,那您当初干嘛还这么痛快答应给他们无限算力?”
“这不是纯纯浪费咱们的资源吗?”
林哲斜了大卫一眼。
“浪费?怎么会浪费呢?”
“不让他们多吃点苦头,不让他们在这个死胡同里撞得头破血流。”
“他们怎么会知道,谁才是真正的爹?”
林哲冷笑了一声。
“搞科研这种事,必须得把人的傲气先给熬没了。”
“伊利亚那帮人,一个个心高气傲,全都是名校出来的天才。”
“他们觉得靠自己的脑子,几个月就能搞定自然语言处理。”
“现在好了,被一个简单的阅读顺序卡得欲仙欲死。”
“语言这东西,太奇妙了。”
“人类读一句话,虽然是一个字一个字看过去的,但人类的大脑会自动联想。”
“看到后面的词,会自动跟前面的词联系起来。”
“但机器不行啊。”
“机器没有直觉。”
“你要想让机器懂,就不能让它一个字一个字地看。”
大卫听得有点懵。
“不一个字一个字看?那怎么看?”
“一眼全看进去?”
林哲打了个响指。
“对,就是一眼全看进去!”
“不能让机器排队,要让机器同时看到所有的词!”
“让机器自己去算,这句话里,哪个词和哪个词关系最紧密。”
“让词和词之间,自己去产生化学反应。”
这也就是两年后由谷歌团队提出的:
transformer架构。
自注意力机制。
就是这玩意儿,彻底击碎了序列模型的锁链,让GpU的并行算力能够百分之百释放出来。
也让机器第一次拥有了理解长文本的逻辑能力。
不过现在还早,自然看不到。
大卫虽然听不懂具体的技术细节,但他能看懂林哲脸上的表情,他试探着问道:
“老板……您是不是早就知道怎么解决他们那个问题了?”
林哲没有直接回答,而是反问了一句。
“老马最近是不是急得快上吊了?”
大卫连连点头:“可不是嘛,听说天天在办公室里骂人。”
“现在谷歌那边已经开始预热了,AlphaGo要挑战人类围棋冠军,全球的热度全在谷歌那边。”
“openAI这边连个能聊天的话搭子都没搞出来,老马急得嘴上全起泡了。”
林哲笑道:
“火候差不多了。”
“肉炖烂了,该下锅去捞了。”
林哲站起身,拿起自己的外套穿上。
“走,大卫。”
“备车。”
“咱们去一趟旧金山。”
大家心里都憋屈,但拿不出成果,确实没底气反驳。
只有伊利亚硬着头皮站了起来。
“埃隆,这不能怪我们!”
“这不是钱和显卡的问题!”
伊利亚红着眼圈,大声跟马斯克争辩。
“是基础科学遇到了瓶颈!”
“传统的序列模型根本跑不动海量数据!它没法并行计算!”
“显卡再多有什么用?架构卡死了,显卡全在睡大觉!”
“而且文本一长,它就是记不住前面的东西,这是数学原理决定的!”
马斯克根本不听这些技术术语。
他是个商人,是个要结果的老板。
“我不管什么数学原理!”
“我只知道谷歌的AlphaGo马上就要去跟人类下围棋了!”
“全天下都在看着我们!”
“我们要是拿不出一套能打的东西,openAI就是一个天大的笑话!”
马斯克急躁地在办公室里走来走去。
“改!马上给我改!”
“不行就推倒重来!”
“必须找出一个能让显卡全速运转,能让它看懂整本书的新算法!”
伊利亚颓废地跌坐回椅子上。
“推倒重来?说得容易。”
“哪有新算法啊。”
“全世界的学术圈都在用RNN,这已经是目前人类能想到的最好方案了。”
“不用这个,难道我们自己凭空捏一个新架构出来吗?”
办公室里再次陷入了一片寂静。
所有人都知道,他们撞上了一堵看不见的水泥墙。
最顶尖的大脑,最强的算力。
被一个看似简单的人类阅读习惯,给卡住了。
……
此时此刻。
加州,阿瑟顿富人区。
林哲的超级豪宅里,画风跟openAI的办公室截然不同。
阳光明媚,鸟语花香。
林哲正半躺在客厅的真皮沙发上。
手里拿着个游戏手柄,正对着大屏幕电视玩着最新出的主机游戏。
屏幕里枪战打得火热,林哲玩得不亦乐乎。
大卫手里拿着一份厚厚的数据报告,从外面走了进来。
他一边走,一边看着手里的报告,嘴角不停地抽搐,想笑又不敢大声笑。
“老板。”
大卫走到沙发跟前,把报告放在茶几上。
“您快看一眼这份报告吧,简直要笑死我了。”
林哲眼睛盯着电视屏幕,手柄按得啪啪作响:“什么报告这么好笑?老黄又在发布会上穿反皮衣了?”
大卫摇了摇头,指着报告。
“不是老黄,是马斯克那帮人。”
“这是咱们纪元地下算力中心刚刚发过来的后台监控数据。”
大卫清了清嗓子,大声念了起来。
“本月,分配给openAI专属通道的GpU集群,总体算力利用率……”
大卫故意拖长了声音。
“百分之零点一!”
大卫说完,直接没忍住,哈哈大笑起来。
“老板,百分之零点一啊!”
“几万张顶配的显卡,插在机柜里,连风扇都不带转的!”
“监控室的主管跟我说,他们那边机房的温度,比咱们大厅的空调还要冷!”
“显卡全在吃灰!”
大卫笑得眼泪都快出来了。
“马斯克那小子当初信誓旦旦,说要把咱们的显卡烧冒烟。”
“结果现在呢?”
“电费单打出来,连个零头都不到。”
“他们这是拿高射炮打蚊子啊,不对,他们是连炮管都不知道怎么打开!”
林哲听到这数据,一点都不觉得意外。
他按下一个按键,屏幕上的敌人被一枪爆头。
林哲把手柄扔到一边,靠在沙发上,懒洋洋地说道:“这有什么好笑的,完全在预料之中。”
“他们去搞大语言模型,非要用RNN那种老掉牙的序列架构。”
“那玩意儿就是个串联电路。”
“必须一个一个来。”
“咱们的显卡是并联电路,是用来同时干活的。”
“牛头不对马嘴,算力利用率能高才怪了。”
大卫拉过一张椅子坐下,满脸的好奇。
“老板,既然您早就知道他们跑不动,那您当初干嘛还这么痛快答应给他们无限算力?”
“这不是纯纯浪费咱们的资源吗?”
林哲斜了大卫一眼。
“浪费?怎么会浪费呢?”
“不让他们多吃点苦头,不让他们在这个死胡同里撞得头破血流。”
“他们怎么会知道,谁才是真正的爹?”
林哲冷笑了一声。
“搞科研这种事,必须得把人的傲气先给熬没了。”
“伊利亚那帮人,一个个心高气傲,全都是名校出来的天才。”
“他们觉得靠自己的脑子,几个月就能搞定自然语言处理。”
“现在好了,被一个简单的阅读顺序卡得欲仙欲死。”
“语言这东西,太奇妙了。”
“人类读一句话,虽然是一个字一个字看过去的,但人类的大脑会自动联想。”
“看到后面的词,会自动跟前面的词联系起来。”
“但机器不行啊。”
“机器没有直觉。”
“你要想让机器懂,就不能让它一个字一个字地看。”
大卫听得有点懵。
“不一个字一个字看?那怎么看?”
“一眼全看进去?”
林哲打了个响指。
“对,就是一眼全看进去!”
“不能让机器排队,要让机器同时看到所有的词!”
“让机器自己去算,这句话里,哪个词和哪个词关系最紧密。”
“让词和词之间,自己去产生化学反应。”
这也就是两年后由谷歌团队提出的:
transformer架构。
自注意力机制。
就是这玩意儿,彻底击碎了序列模型的锁链,让GpU的并行算力能够百分之百释放出来。
也让机器第一次拥有了理解长文本的逻辑能力。
不过现在还早,自然看不到。
大卫虽然听不懂具体的技术细节,但他能看懂林哲脸上的表情,他试探着问道:
“老板……您是不是早就知道怎么解决他们那个问题了?”
林哲没有直接回答,而是反问了一句。
“老马最近是不是急得快上吊了?”
大卫连连点头:“可不是嘛,听说天天在办公室里骂人。”
“现在谷歌那边已经开始预热了,AlphaGo要挑战人类围棋冠军,全球的热度全在谷歌那边。”
“openAI这边连个能聊天的话搭子都没搞出来,老马急得嘴上全起泡了。”
林哲笑道:
“火候差不多了。”
“肉炖烂了,该下锅去捞了。”
林哲站起身,拿起自己的外套穿上。
“走,大卫。”
“备车。”
“咱们去一趟旧金山。”