下书看 > 重生1996:我教黄老板做显卡 > 第489章 注意力机制

重生1996:我教黄老板做显卡 第489章 注意力机制

    林哲接着指着白板上那个复杂的网状矩阵。

    “重点不在这里。”

    “重点是,所有的词同时进去之后,让它们自己去找关系!”

    “这就叫自注意力!”

    林哲觉得这帮人还是没转过弯来,干脆举了个例子:“打个比方吧。”

    “RNN那种破模型,就像是一个人去参加相亲大会。”

    “现场有一百个人。”

    “RNN的做法是,跟第一个人握手聊天,再跟第二个人聊天,一直聊到第一百个。”

    “等聊到第一百个的时候,他早把第一个人长什么样给忘了!”

    “这就是你们说的遗忘问题!”

    底下好几个科学家下意识地点了点头,这比喻太形象了。

    林哲话锋一转。

    “但是!”

    “自注意力机制是怎么干的?”

    “它是让这个人站在大厅正中间。”

    “在同一秒钟内,一眼看过去,同时看清楚这一百个人!”

    “然后,他的大脑瞬间开始计算!”

    “算什么?”

    “算谁跟他关系最紧密!算谁最重要!”

    林哲走到伊利亚面前,盯着他。

    “比如说一句话:苹果掉在地上,因为它熟透了。”

    “在这个机制下,机器看到‘它’这个字的时候。”

    “不会去管前面隔了几个字。”

    “机器会瞬间把‘它’跟前面的‘苹果’和‘地上’进行权重计算!”

    “算出来,‘它’指代‘苹果’的注意力得分是百分之九十。”

    “指代‘地上’的得分是百分之十。”

    “机器瞬间就懂了,‘它’就是‘苹果’!”

    “距离有多远根本无所谓!因为所有的词都是直接连接的!”

    林哲一语道破。

    整个办公室瞬间一片寂静。

    所有人都瞪大了眼睛,看着白板上的那个矩阵。

    伊利亚的呼吸开始变得急促起来。

    他的脑子里,正在疯狂地把林哲说的话,翻译成底层的数学逻辑。

    如果所有的词同时输入……

    那就没有先后顺序的依赖了!

    那意味着什么?

    意味着可以完美拆分计算任务!

    意味着纪元公司地下室里的那几万张GpU显卡,可以火力全开!同时计算不同的权重矩阵!

    算力利用率可以直接从百分之零点一,拉满到百分之百!

    速度可以提升几百倍甚至几千倍!

    而且!

    因为词和词之间是直接计算注意力得分的,没有中间传递的过程。

    所以根本不存在什么长文本遗忘的问题!

    不管文章有多长,只要内存够大,机器就能瞬间算出第一页的词和第一百页的词之间的关联!

    脑子通了!

    彻底通了!

    困扰了他们几个月的难题,被林哲轻飘飘的几句话,直接用蛮力给解决了!

    “我的天哪……”

    “上帝啊……”

    办公室里开始响起一阵阵倒吸凉气的惊呼声。

    几个头顶快秃了的资深研究员,激动得语无伦次。

    伊利亚猛地跳了起来。

    他冲到白板前面,看着盯着“自注意力机制”这几个字。

    然后,他转身看着林哲,眼神里全是无法掩饰的狂热和崇拜。

    “老板……”

    “q、K、V……”

    “查询(query)、键(Key)、值(Value)……”

    伊利亚嘴里快速念叨着几个只有内行才懂的名词。

    他的大脑飞速运转,顺着林哲的思路,已经把底层的矩阵运算给推导出来了。

    “用一个词去当q,去查整句话里所有词的K,算出权重,然后乘上它们的V!”

    “加权求和!”

    “多头并发!”

    “让不同的注意力头去关注不同的特征!”

    “太天才了!这简直太天才了!”

    伊利亚激动得根本控制不住自己的情绪。

    他一把抓住旁边马斯克的肩膀,用力摇晃着:“埃隆!你听懂了吗!”

    “这东西能把我们的模型速度提升一千倍!”

    “它能读懂所有的书!”

    马斯克虽然技术底子不如伊利亚深,但他脑子转得极快。

    他听懂了林哲那个相亲大会的比喻。

    他也看懂了伊利亚现在这种癫狂的状态代表着什么。

    这就代表着,林哲刚才随手在白板上画的东西,真的能解决一切问题!

    马斯克转过头,看着站在那里一脸云淡风轻的林哲,心里的震撼简直无法用语言来形容。

    他一直以为,林哲只是个有钱的大土豪。

    只是个靠投资眼光准,赚了千亿身家的商人。

    他跑去拉赞助的时候,还觉得自己把林哲给忽悠了。

    现在他才明白。

    林哲根本不是什么不懂技术的大凯子!

    这家伙的脑子里,装着超越整个硅谷的恐怖智慧!

    随便扔出来一个点子,就能直接改变人工智能的发展轨迹!

    这特么还是人吗?

    “林……”

    马斯克咽了口唾沫,声音有点干涩。

    “这个……自注意力机制……是你自己想出来的?”

    林哲挑了挑眉,脸不红心不跳地把后世那篇着名论文《Attention Is All You Need》的核心思想据为己有。

    “那不然呢?”

    “我看你们在这死胡同里转不出来,就替你们想想办法呗。”

    林哲走到一张椅子前坐下。

    “别傻站着了。”

    “思路我给你们指出来了。”

    “门我也给你们踹开了。”

    “剩下的脏活累活,写代码、调参数,总不用我亲自动手了吧?”

    伊利亚如梦初醒。

    他猛地转过身,冲着全办公室的人大吼一声:“还愣着干什么!”

    “全部回工位!”

    “把之前的RNN代码全给我删了!”

    “马上立项新架构!”

    “今天晚上谁也不许睡觉!”

    整个办公室瞬间炸开了锅。

    几十个顶尖科学家跟打了鸡血一样,疯狂扑向自己的电脑。

    噼里啪啦的敲击键盘声,顿时响彻整个楼层。

    再也没有人抱怨了。

    再也没有人绝望了。

    每个人眼里都闪烁着狂热的光芒。

    马斯克站在原地,看着这群疯狂的科学家。

    他又看了看坐在沙发上喝水的林哲。

    心里的滋味复杂极了。

    有激动,有后怕,还有深深的敬畏。

    他走到林哲跟前,老老实实站着,再也没有了之前那种狂妄的架势。

    “林,谢谢你。”

    马斯克是真心实意地道谢。

    如果没有林哲今天这顿点拨,openAI估计撑不过明年就要散伙。

    林哲摆了摆手。

    “别谢我,谢我没用。”

    “好好干活,早点把模型跑出来。”

    “记住,你们现在烧的每一度电,用的每一张显卡,都是我在买单。”

    林哲站起身,理了理衣服。

    “等你们把这个架构跑通了,把参数堆上去。”

    “你们就会发现,一个全新的时代要来了。”

    “到时候,咱们再好好算算账。”

    林哲拍了拍马斯克的肩膀,带着一直憋笑的大卫,走出了办公室。