重生1996:我教黄老板做显卡 第486章 OpenAI的进展
热门推荐:
千万月薪:女总裁拿我当专属奴隶
约战,选我当主角?大可不必!
重生1996:我教黄老板做显卡
扶春枝
诸天恶人:我的良心被狗吃了
全球玩家苦练武,就我一人在修仙
六零:被顶替的司令千金重生了
王重阳?滚来修仙!
终极进化路
时间一晃,就到了2015年年底。
加州旧金山,openAI的办公室里。
气氛有些压抑。
宽敞的办公区里,满地都是揉成团的废纸、吃剩的披萨盒子,还有横七竖八丢在地上的空咖啡杯。
墙上挂着好几块巨大的白板。
上面密密麻麻写满了各种复杂的数学公式、神经网络架构图。
只不过,这些公式上面,全被红色的记号笔画了一个又一个的大叉。
伊利亚顶着两个黑眼圈,头发乱糟糟的。
他已经连续好几天没怎么合眼了。
现在,他正盯着面前的电脑屏幕,双手烦躁地在键盘上乱敲,嘴里不停地念叨着脏话。
“又崩了!又忘了!”
“这破模型,简直就是个只有七秒记忆的金鱼!”
伊利亚气得一巴掌拍在桌子上。
办公室里其他的顶尖科学家们,一个个也都是满脸的颓废和绝望。
这几个月来,openAI的进展,完全可以用四个字来形容,那就是:惨不忍睹!
根本推不动!
他们当初信誓旦旦,要走生成式AI这条路。
要让机器去阅读人类的海量文本,学会人类的语言逻辑。
这想法听着确实很牛。
马斯克也给他们搞来了钱,搞来了算力。
纪元公司地下的超级算力中心,对他们无限量敞开供应。
按理说,兵强马壮,粮草充足,直接开干就完了。
可是,一动手,这帮顶尖大脑就全傻眼了。
他们被一个最底层的数学逻辑给卡住了脖子。
这个逻辑的名字,叫序列。
此时全硅谷,乃至全世界的AI圈子,处理自然语言用的都是一套叫RNN的东西。
全称叫循环神经网络。
虽然又升级了一下,搞了个叫LStm的东西,叫长短期记忆网络。
但也就名字听着挺高大上。
其实说白了,原理非常死板。
它就是完全模仿人类看书的习惯。
人类怎么看书?
从左到右,一个字一个字地看,一句话一句话地读。
我看第一段,再看第二段。
这种方式,对人类来说很正常。
但是!
把这套玩意儿放到显卡上去跑,简直就是一场灾难!
纪元公司地下室里的那些英伟达显卡,是用来干嘛的?
那是用来搞并行计算的!
什么是并行计算?
就是一万个小学生,同时坐在教室里,每人拿一张卷子,大家一起埋头算加减乘除。
一秒钟,一万道题就算完了。
效率非常之高!
可是,RNN这个破架构,偏偏是个单行道!
它规定了,机器必须先看完第一个字,才能看第二个字。
看完第二个字,才能去处理第三个字。
这下好了。
一万个小学生坐在教室里。
只有坐在第一排第一个的那个小学生,在那满头大汗地算题。
算完一步,把纸条递给后面的同学。
剩下的九千九百九十九个小学生干嘛?
全在那干瞪眼,嗑瓜子,聊天打屁!
因为前面的数据没传过来,他们根本没活干!
这就是openAI现在面临的最尴尬的局面。
他们坐拥全世界最牛的算力金矿。
结果却在用一把生锈的小铁锹,一点一点地挖土。
GpU的算力利用率,低得令人发指。
机器全在闲置,电费白交,模型跑得比蜗牛还慢。
这还不算最要命的。
更要命的是,这个单行道架构,脑容量太小了!
伊利亚他们把维基百科上海量的文章打包,一股脑地喂给模型。
希望模型能读懂这些知识。
结果呢?
这模型就像个狗熊掰棒子,掰一个丢一个。
读一两句短话,它还能应付。
比如你喂给它:“今天天气很好。”
它能记住。
但是,如果你喂给它一篇长达几千字的长文章。
等它吭哧吭哧读到文章最后一段的时候。
它早把第一段写的是什么忘得一干二净了!
前面的信息,在长长的序列传递中,全被稀释没了。
伊利亚看着屏幕上模型刚刚生成的测试文本,简直欲哭无泪。
他们刚给模型喂了一大段关于美国历史的资料。
讲的是美国首任总统华盛顿的一生。
喂完之后,伊利亚在对话框里输入了一句提示词,让模型接着往下写。
屏幕上的光标闪烁了几下。
模型慢吞吞地吐出了一行字:
“乔治·华盛顿是一个伟大的人,他带领军队打赢了战争,最后他变成了一只喜欢吃轮胎的猫。”
猫?
还吃轮胎?!
伊利亚看到这句话,差点一口老血喷在屏幕上。
“这写的什么狗屎玩意儿!”
旁边的几个研究员凑过来看了一眼,一个个全捂住了脸。
没法看。
真的没法看。
这哪是人工智能,这简直就是个人工智障,而且还是脑干缺失那种。
长文本一进去,逻辑全乱套了。
主谓宾根本搭不上边。
“不行,还得改参数。”
一个研究员叹了口气,拖过键盘。
“咱们再加几层LStm网络试试吧,或者把记忆闸门调大一点?”
伊利亚烦躁地抓着头发。
“加个屁!”
“再加层数,模型跑得更慢了!”
“现在跑一遍数据都要两个星期,再加层数,跑完一遍咱们都该退休了!”
就在办公室里一片唉声叹气的时候。
大门被人一把推开了。
马斯克大摇大摆地走了进来。
他今天心情不错。
特斯拉的新车销量挺好,股价也涨了。
他今天是专门来看看,自己寄予厚望的那个拯救世界的超级AI,到底长出什么惊天动地的脑子了。
“兄弟们!干得怎么样了!”
马斯克一进门,就大声嚷嚷起来。
“那个能干翻谷歌的超级大脑,在哪呢?快给我展示一下!”
马斯克走到伊利亚的办公桌前,满脸都是期待。
伊利亚坐在椅子上,抬头看了马斯克一眼,表情比吃了苦瓜还要难看。
“埃隆……你要看,就自己看吧。”
伊利亚指了指电脑屏幕。
马斯克凑过去,盯着屏幕上的那行字。
“乔治·华盛顿……变成了一只……吃轮胎的猫?”
马斯克念完这行字,脸上的笑容瞬间消失了,他不可置信地转头看向伊利亚。
“伊利亚,你在跟我开玩笑吗?”
“这就是你们闭关好几个月,烧了我那么多钱,搞出来的东西?”
“一只吃轮胎的猫?!”
马斯克的火气蹭的一下就上来了。
“我拉下老脸,跑去林哲那装孙子,给你们要来了五个亿的现金!”
“我给你们搞到了纪元公司最牛的无限算力!”
“我把全美国最好的显卡全搬给你们用了!”
“你们就给我看这个?!”
马斯克指着屏幕,大声咆哮起来。
“随便去街上拉个三岁小孩,说话都比这玩意儿有逻辑!”
加州旧金山,openAI的办公室里。
气氛有些压抑。
宽敞的办公区里,满地都是揉成团的废纸、吃剩的披萨盒子,还有横七竖八丢在地上的空咖啡杯。
墙上挂着好几块巨大的白板。
上面密密麻麻写满了各种复杂的数学公式、神经网络架构图。
只不过,这些公式上面,全被红色的记号笔画了一个又一个的大叉。
伊利亚顶着两个黑眼圈,头发乱糟糟的。
他已经连续好几天没怎么合眼了。
现在,他正盯着面前的电脑屏幕,双手烦躁地在键盘上乱敲,嘴里不停地念叨着脏话。
“又崩了!又忘了!”
“这破模型,简直就是个只有七秒记忆的金鱼!”
伊利亚气得一巴掌拍在桌子上。
办公室里其他的顶尖科学家们,一个个也都是满脸的颓废和绝望。
这几个月来,openAI的进展,完全可以用四个字来形容,那就是:惨不忍睹!
根本推不动!
他们当初信誓旦旦,要走生成式AI这条路。
要让机器去阅读人类的海量文本,学会人类的语言逻辑。
这想法听着确实很牛。
马斯克也给他们搞来了钱,搞来了算力。
纪元公司地下的超级算力中心,对他们无限量敞开供应。
按理说,兵强马壮,粮草充足,直接开干就完了。
可是,一动手,这帮顶尖大脑就全傻眼了。
他们被一个最底层的数学逻辑给卡住了脖子。
这个逻辑的名字,叫序列。
此时全硅谷,乃至全世界的AI圈子,处理自然语言用的都是一套叫RNN的东西。
全称叫循环神经网络。
虽然又升级了一下,搞了个叫LStm的东西,叫长短期记忆网络。
但也就名字听着挺高大上。
其实说白了,原理非常死板。
它就是完全模仿人类看书的习惯。
人类怎么看书?
从左到右,一个字一个字地看,一句话一句话地读。
我看第一段,再看第二段。
这种方式,对人类来说很正常。
但是!
把这套玩意儿放到显卡上去跑,简直就是一场灾难!
纪元公司地下室里的那些英伟达显卡,是用来干嘛的?
那是用来搞并行计算的!
什么是并行计算?
就是一万个小学生,同时坐在教室里,每人拿一张卷子,大家一起埋头算加减乘除。
一秒钟,一万道题就算完了。
效率非常之高!
可是,RNN这个破架构,偏偏是个单行道!
它规定了,机器必须先看完第一个字,才能看第二个字。
看完第二个字,才能去处理第三个字。
这下好了。
一万个小学生坐在教室里。
只有坐在第一排第一个的那个小学生,在那满头大汗地算题。
算完一步,把纸条递给后面的同学。
剩下的九千九百九十九个小学生干嘛?
全在那干瞪眼,嗑瓜子,聊天打屁!
因为前面的数据没传过来,他们根本没活干!
这就是openAI现在面临的最尴尬的局面。
他们坐拥全世界最牛的算力金矿。
结果却在用一把生锈的小铁锹,一点一点地挖土。
GpU的算力利用率,低得令人发指。
机器全在闲置,电费白交,模型跑得比蜗牛还慢。
这还不算最要命的。
更要命的是,这个单行道架构,脑容量太小了!
伊利亚他们把维基百科上海量的文章打包,一股脑地喂给模型。
希望模型能读懂这些知识。
结果呢?
这模型就像个狗熊掰棒子,掰一个丢一个。
读一两句短话,它还能应付。
比如你喂给它:“今天天气很好。”
它能记住。
但是,如果你喂给它一篇长达几千字的长文章。
等它吭哧吭哧读到文章最后一段的时候。
它早把第一段写的是什么忘得一干二净了!
前面的信息,在长长的序列传递中,全被稀释没了。
伊利亚看着屏幕上模型刚刚生成的测试文本,简直欲哭无泪。
他们刚给模型喂了一大段关于美国历史的资料。
讲的是美国首任总统华盛顿的一生。
喂完之后,伊利亚在对话框里输入了一句提示词,让模型接着往下写。
屏幕上的光标闪烁了几下。
模型慢吞吞地吐出了一行字:
“乔治·华盛顿是一个伟大的人,他带领军队打赢了战争,最后他变成了一只喜欢吃轮胎的猫。”
猫?
还吃轮胎?!
伊利亚看到这句话,差点一口老血喷在屏幕上。
“这写的什么狗屎玩意儿!”
旁边的几个研究员凑过来看了一眼,一个个全捂住了脸。
没法看。
真的没法看。
这哪是人工智能,这简直就是个人工智障,而且还是脑干缺失那种。
长文本一进去,逻辑全乱套了。
主谓宾根本搭不上边。
“不行,还得改参数。”
一个研究员叹了口气,拖过键盘。
“咱们再加几层LStm网络试试吧,或者把记忆闸门调大一点?”
伊利亚烦躁地抓着头发。
“加个屁!”
“再加层数,模型跑得更慢了!”
“现在跑一遍数据都要两个星期,再加层数,跑完一遍咱们都该退休了!”
就在办公室里一片唉声叹气的时候。
大门被人一把推开了。
马斯克大摇大摆地走了进来。
他今天心情不错。
特斯拉的新车销量挺好,股价也涨了。
他今天是专门来看看,自己寄予厚望的那个拯救世界的超级AI,到底长出什么惊天动地的脑子了。
“兄弟们!干得怎么样了!”
马斯克一进门,就大声嚷嚷起来。
“那个能干翻谷歌的超级大脑,在哪呢?快给我展示一下!”
马斯克走到伊利亚的办公桌前,满脸都是期待。
伊利亚坐在椅子上,抬头看了马斯克一眼,表情比吃了苦瓜还要难看。
“埃隆……你要看,就自己看吧。”
伊利亚指了指电脑屏幕。
马斯克凑过去,盯着屏幕上的那行字。
“乔治·华盛顿……变成了一只……吃轮胎的猫?”
马斯克念完这行字,脸上的笑容瞬间消失了,他不可置信地转头看向伊利亚。
“伊利亚,你在跟我开玩笑吗?”
“这就是你们闭关好几个月,烧了我那么多钱,搞出来的东西?”
“一只吃轮胎的猫?!”
马斯克的火气蹭的一下就上来了。
“我拉下老脸,跑去林哲那装孙子,给你们要来了五个亿的现金!”
“我给你们搞到了纪元公司最牛的无限算力!”
“我把全美国最好的显卡全搬给你们用了!”
“你们就给我看这个?!”
马斯克指着屏幕,大声咆哮起来。
“随便去街上拉个三岁小孩,说话都比这玩意儿有逻辑!”