下书看 > 重生1996:我教黄老板做显卡 > 第486章 OpenAI的进展

重生1996:我教黄老板做显卡 第486章 OpenAI的进展

    时间一晃,就到了2015年年底。

    加州旧金山,openAI的办公室里。

    气氛有些压抑。

    宽敞的办公区里,满地都是揉成团的废纸、吃剩的披萨盒子,还有横七竖八丢在地上的空咖啡杯。

    墙上挂着好几块巨大的白板。

    上面密密麻麻写满了各种复杂的数学公式、神经网络架构图。

    只不过,这些公式上面,全被红色的记号笔画了一个又一个的大叉。

    伊利亚顶着两个黑眼圈,头发乱糟糟的。

    他已经连续好几天没怎么合眼了。

    现在,他正盯着面前的电脑屏幕,双手烦躁地在键盘上乱敲,嘴里不停地念叨着脏话。

    “又崩了!又忘了!”

    “这破模型,简直就是个只有七秒记忆的金鱼!”

    伊利亚气得一巴掌拍在桌子上。

    办公室里其他的顶尖科学家们,一个个也都是满脸的颓废和绝望。

    这几个月来,openAI的进展,完全可以用四个字来形容,那就是:惨不忍睹!

    根本推不动!

    他们当初信誓旦旦,要走生成式AI这条路。

    要让机器去阅读人类的海量文本,学会人类的语言逻辑。

    这想法听着确实很牛。

    马斯克也给他们搞来了钱,搞来了算力。

    纪元公司地下的超级算力中心,对他们无限量敞开供应。

    按理说,兵强马壮,粮草充足,直接开干就完了。

    可是,一动手,这帮顶尖大脑就全傻眼了。

    他们被一个最底层的数学逻辑给卡住了脖子。

    这个逻辑的名字,叫序列。

    此时全硅谷,乃至全世界的AI圈子,处理自然语言用的都是一套叫RNN的东西。

    全称叫循环神经网络。

    虽然又升级了一下,搞了个叫LStm的东西,叫长短期记忆网络。

    但也就名字听着挺高大上。

    其实说白了,原理非常死板。

    它就是完全模仿人类看书的习惯。

    人类怎么看书?

    从左到右,一个字一个字地看,一句话一句话地读。

    我看第一段,再看第二段。

    这种方式,对人类来说很正常。

    但是!

    把这套玩意儿放到显卡上去跑,简直就是一场灾难!

    纪元公司地下室里的那些英伟达显卡,是用来干嘛的?

    那是用来搞并行计算的!

    什么是并行计算?

    就是一万个小学生,同时坐在教室里,每人拿一张卷子,大家一起埋头算加减乘除。

    一秒钟,一万道题就算完了。

    效率非常之高!

    可是,RNN这个破架构,偏偏是个单行道!

    它规定了,机器必须先看完第一个字,才能看第二个字。

    看完第二个字,才能去处理第三个字。

    这下好了。

    一万个小学生坐在教室里。

    只有坐在第一排第一个的那个小学生,在那满头大汗地算题。

    算完一步,把纸条递给后面的同学。

    剩下的九千九百九十九个小学生干嘛?

    全在那干瞪眼,嗑瓜子,聊天打屁!

    因为前面的数据没传过来,他们根本没活干!

    这就是openAI现在面临的最尴尬的局面。

    他们坐拥全世界最牛的算力金矿。

    结果却在用一把生锈的小铁锹,一点一点地挖土。

    GpU的算力利用率,低得令人发指。

    机器全在闲置,电费白交,模型跑得比蜗牛还慢。

    这还不算最要命的。

    更要命的是,这个单行道架构,脑容量太小了!

    伊利亚他们把维基百科上海量的文章打包,一股脑地喂给模型。

    希望模型能读懂这些知识。

    结果呢?

    这模型就像个狗熊掰棒子,掰一个丢一个。

    读一两句短话,它还能应付。

    比如你喂给它:“今天天气很好。”

    它能记住。

    但是,如果你喂给它一篇长达几千字的长文章。

    等它吭哧吭哧读到文章最后一段的时候。

    它早把第一段写的是什么忘得一干二净了!

    前面的信息,在长长的序列传递中,全被稀释没了。

    伊利亚看着屏幕上模型刚刚生成的测试文本,简直欲哭无泪。

    他们刚给模型喂了一大段关于美国历史的资料。

    讲的是美国首任总统华盛顿的一生。

    喂完之后,伊利亚在对话框里输入了一句提示词,让模型接着往下写。

    屏幕上的光标闪烁了几下。

    模型慢吞吞地吐出了一行字:

    “乔治·华盛顿是一个伟大的人,他带领军队打赢了战争,最后他变成了一只喜欢吃轮胎的猫。”

    猫?

    还吃轮胎?!

    伊利亚看到这句话,差点一口老血喷在屏幕上。

    “这写的什么狗屎玩意儿!”

    旁边的几个研究员凑过来看了一眼,一个个全捂住了脸。

    没法看。

    真的没法看。

    这哪是人工智能,这简直就是个人工智障,而且还是脑干缺失那种。

    长文本一进去,逻辑全乱套了。

    主谓宾根本搭不上边。

    “不行,还得改参数。”

    一个研究员叹了口气,拖过键盘。

    “咱们再加几层LStm网络试试吧,或者把记忆闸门调大一点?”

    伊利亚烦躁地抓着头发。

    “加个屁!”

    “再加层数,模型跑得更慢了!”

    “现在跑一遍数据都要两个星期,再加层数,跑完一遍咱们都该退休了!”

    就在办公室里一片唉声叹气的时候。

    大门被人一把推开了。

    马斯克大摇大摆地走了进来。

    他今天心情不错。

    特斯拉的新车销量挺好,股价也涨了。

    他今天是专门来看看,自己寄予厚望的那个拯救世界的超级AI,到底长出什么惊天动地的脑子了。

    “兄弟们!干得怎么样了!”

    马斯克一进门,就大声嚷嚷起来。

    “那个能干翻谷歌的超级大脑,在哪呢?快给我展示一下!”

    马斯克走到伊利亚的办公桌前,满脸都是期待。

    伊利亚坐在椅子上,抬头看了马斯克一眼,表情比吃了苦瓜还要难看。

    “埃隆……你要看,就自己看吧。”

    伊利亚指了指电脑屏幕。

    马斯克凑过去,盯着屏幕上的那行字。

    “乔治·华盛顿……变成了一只……吃轮胎的猫?”

    马斯克念完这行字,脸上的笑容瞬间消失了,他不可置信地转头看向伊利亚。

    “伊利亚,你在跟我开玩笑吗?”

    “这就是你们闭关好几个月,烧了我那么多钱,搞出来的东西?”

    “一只吃轮胎的猫?!”

    马斯克的火气蹭的一下就上来了。

    “我拉下老脸,跑去林哲那装孙子,给你们要来了五个亿的现金!”

    “我给你们搞到了纪元公司最牛的无限算力!”

    “我把全美国最好的显卡全搬给你们用了!”

    “你们就给我看这个?!”

    马斯克指着屏幕,大声咆哮起来。

    “随便去街上拉个三岁小孩,说话都比这玩意儿有逻辑!”