重生1996:我教黄老板做显卡 第489章 注意力机制
热门推荐:
千万月薪:女总裁拿我当专属奴隶
约战,选我当主角?大可不必!
重生1996:我教黄老板做显卡
扶春枝
诸天恶人:我的良心被狗吃了
全球玩家苦练武,就我一人在修仙
六零:被顶替的司令千金重生了
王重阳?滚来修仙!
终极进化路
林哲接着指着白板上那个复杂的网状矩阵。
“重点不在这里。”
“重点是,所有的词同时进去之后,让它们自己去找关系!”
“这就叫自注意力!”
林哲觉得这帮人还是没转过弯来,干脆举了个例子:“打个比方吧。”
“RNN那种破模型,就像是一个人去参加相亲大会。”
“现场有一百个人。”
“RNN的做法是,跟第一个人握手聊天,再跟第二个人聊天,一直聊到第一百个。”
“等聊到第一百个的时候,他早把第一个人长什么样给忘了!”
“这就是你们说的遗忘问题!”
底下好几个科学家下意识地点了点头,这比喻太形象了。
林哲话锋一转。
“但是!”
“自注意力机制是怎么干的?”
“它是让这个人站在大厅正中间。”
“在同一秒钟内,一眼看过去,同时看清楚这一百个人!”
“然后,他的大脑瞬间开始计算!”
“算什么?”
“算谁跟他关系最紧密!算谁最重要!”
林哲走到伊利亚面前,盯着他。
“比如说一句话:苹果掉在地上,因为它熟透了。”
“在这个机制下,机器看到‘它’这个字的时候。”
“不会去管前面隔了几个字。”
“机器会瞬间把‘它’跟前面的‘苹果’和‘地上’进行权重计算!”
“算出来,‘它’指代‘苹果’的注意力得分是百分之九十。”
“指代‘地上’的得分是百分之十。”
“机器瞬间就懂了,‘它’就是‘苹果’!”
“距离有多远根本无所谓!因为所有的词都是直接连接的!”
林哲一语道破。
整个办公室瞬间一片寂静。
所有人都瞪大了眼睛,看着白板上的那个矩阵。
伊利亚的呼吸开始变得急促起来。
他的脑子里,正在疯狂地把林哲说的话,翻译成底层的数学逻辑。
如果所有的词同时输入……
那就没有先后顺序的依赖了!
那意味着什么?
意味着可以完美拆分计算任务!
意味着纪元公司地下室里的那几万张GpU显卡,可以火力全开!同时计算不同的权重矩阵!
算力利用率可以直接从百分之零点一,拉满到百分之百!
速度可以提升几百倍甚至几千倍!
而且!
因为词和词之间是直接计算注意力得分的,没有中间传递的过程。
所以根本不存在什么长文本遗忘的问题!
不管文章有多长,只要内存够大,机器就能瞬间算出第一页的词和第一百页的词之间的关联!
脑子通了!
彻底通了!
困扰了他们几个月的难题,被林哲轻飘飘的几句话,直接用蛮力给解决了!
“我的天哪……”
“上帝啊……”
办公室里开始响起一阵阵倒吸凉气的惊呼声。
几个头顶快秃了的资深研究员,激动得语无伦次。
伊利亚猛地跳了起来。
他冲到白板前面,看着盯着“自注意力机制”这几个字。
然后,他转身看着林哲,眼神里全是无法掩饰的狂热和崇拜。
“老板……”
“q、K、V……”
“查询(query)、键(Key)、值(Value)……”
伊利亚嘴里快速念叨着几个只有内行才懂的名词。
他的大脑飞速运转,顺着林哲的思路,已经把底层的矩阵运算给推导出来了。
“用一个词去当q,去查整句话里所有词的K,算出权重,然后乘上它们的V!”
“加权求和!”
“多头并发!”
“让不同的注意力头去关注不同的特征!”
“太天才了!这简直太天才了!”
伊利亚激动得根本控制不住自己的情绪。
他一把抓住旁边马斯克的肩膀,用力摇晃着:“埃隆!你听懂了吗!”
“这东西能把我们的模型速度提升一千倍!”
“它能读懂所有的书!”
马斯克虽然技术底子不如伊利亚深,但他脑子转得极快。
他听懂了林哲那个相亲大会的比喻。
他也看懂了伊利亚现在这种癫狂的状态代表着什么。
这就代表着,林哲刚才随手在白板上画的东西,真的能解决一切问题!
马斯克转过头,看着站在那里一脸云淡风轻的林哲,心里的震撼简直无法用语言来形容。
他一直以为,林哲只是个有钱的大土豪。
只是个靠投资眼光准,赚了千亿身家的商人。
他跑去拉赞助的时候,还觉得自己把林哲给忽悠了。
现在他才明白。
林哲根本不是什么不懂技术的大凯子!
这家伙的脑子里,装着超越整个硅谷的恐怖智慧!
随便扔出来一个点子,就能直接改变人工智能的发展轨迹!
这特么还是人吗?
“林……”
马斯克咽了口唾沫,声音有点干涩。
“这个……自注意力机制……是你自己想出来的?”
林哲挑了挑眉,脸不红心不跳地把后世那篇着名论文《Attention Is All You Need》的核心思想据为己有。
“那不然呢?”
“我看你们在这死胡同里转不出来,就替你们想想办法呗。”
林哲走到一张椅子前坐下。
“别傻站着了。”
“思路我给你们指出来了。”
“门我也给你们踹开了。”
“剩下的脏活累活,写代码、调参数,总不用我亲自动手了吧?”
伊利亚如梦初醒。
他猛地转过身,冲着全办公室的人大吼一声:“还愣着干什么!”
“全部回工位!”
“把之前的RNN代码全给我删了!”
“马上立项新架构!”
“今天晚上谁也不许睡觉!”
整个办公室瞬间炸开了锅。
几十个顶尖科学家跟打了鸡血一样,疯狂扑向自己的电脑。
噼里啪啦的敲击键盘声,顿时响彻整个楼层。
再也没有人抱怨了。
再也没有人绝望了。
每个人眼里都闪烁着狂热的光芒。
马斯克站在原地,看着这群疯狂的科学家。
他又看了看坐在沙发上喝水的林哲。
心里的滋味复杂极了。
有激动,有后怕,还有深深的敬畏。
他走到林哲跟前,老老实实站着,再也没有了之前那种狂妄的架势。
“林,谢谢你。”
马斯克是真心实意地道谢。
如果没有林哲今天这顿点拨,openAI估计撑不过明年就要散伙。
林哲摆了摆手。
“别谢我,谢我没用。”
“好好干活,早点把模型跑出来。”
“记住,你们现在烧的每一度电,用的每一张显卡,都是我在买单。”
林哲站起身,理了理衣服。
“等你们把这个架构跑通了,把参数堆上去。”
“你们就会发现,一个全新的时代要来了。”
“到时候,咱们再好好算算账。”
林哲拍了拍马斯克的肩膀,带着一直憋笑的大卫,走出了办公室。
“重点不在这里。”
“重点是,所有的词同时进去之后,让它们自己去找关系!”
“这就叫自注意力!”
林哲觉得这帮人还是没转过弯来,干脆举了个例子:“打个比方吧。”
“RNN那种破模型,就像是一个人去参加相亲大会。”
“现场有一百个人。”
“RNN的做法是,跟第一个人握手聊天,再跟第二个人聊天,一直聊到第一百个。”
“等聊到第一百个的时候,他早把第一个人长什么样给忘了!”
“这就是你们说的遗忘问题!”
底下好几个科学家下意识地点了点头,这比喻太形象了。
林哲话锋一转。
“但是!”
“自注意力机制是怎么干的?”
“它是让这个人站在大厅正中间。”
“在同一秒钟内,一眼看过去,同时看清楚这一百个人!”
“然后,他的大脑瞬间开始计算!”
“算什么?”
“算谁跟他关系最紧密!算谁最重要!”
林哲走到伊利亚面前,盯着他。
“比如说一句话:苹果掉在地上,因为它熟透了。”
“在这个机制下,机器看到‘它’这个字的时候。”
“不会去管前面隔了几个字。”
“机器会瞬间把‘它’跟前面的‘苹果’和‘地上’进行权重计算!”
“算出来,‘它’指代‘苹果’的注意力得分是百分之九十。”
“指代‘地上’的得分是百分之十。”
“机器瞬间就懂了,‘它’就是‘苹果’!”
“距离有多远根本无所谓!因为所有的词都是直接连接的!”
林哲一语道破。
整个办公室瞬间一片寂静。
所有人都瞪大了眼睛,看着白板上的那个矩阵。
伊利亚的呼吸开始变得急促起来。
他的脑子里,正在疯狂地把林哲说的话,翻译成底层的数学逻辑。
如果所有的词同时输入……
那就没有先后顺序的依赖了!
那意味着什么?
意味着可以完美拆分计算任务!
意味着纪元公司地下室里的那几万张GpU显卡,可以火力全开!同时计算不同的权重矩阵!
算力利用率可以直接从百分之零点一,拉满到百分之百!
速度可以提升几百倍甚至几千倍!
而且!
因为词和词之间是直接计算注意力得分的,没有中间传递的过程。
所以根本不存在什么长文本遗忘的问题!
不管文章有多长,只要内存够大,机器就能瞬间算出第一页的词和第一百页的词之间的关联!
脑子通了!
彻底通了!
困扰了他们几个月的难题,被林哲轻飘飘的几句话,直接用蛮力给解决了!
“我的天哪……”
“上帝啊……”
办公室里开始响起一阵阵倒吸凉气的惊呼声。
几个头顶快秃了的资深研究员,激动得语无伦次。
伊利亚猛地跳了起来。
他冲到白板前面,看着盯着“自注意力机制”这几个字。
然后,他转身看着林哲,眼神里全是无法掩饰的狂热和崇拜。
“老板……”
“q、K、V……”
“查询(query)、键(Key)、值(Value)……”
伊利亚嘴里快速念叨着几个只有内行才懂的名词。
他的大脑飞速运转,顺着林哲的思路,已经把底层的矩阵运算给推导出来了。
“用一个词去当q,去查整句话里所有词的K,算出权重,然后乘上它们的V!”
“加权求和!”
“多头并发!”
“让不同的注意力头去关注不同的特征!”
“太天才了!这简直太天才了!”
伊利亚激动得根本控制不住自己的情绪。
他一把抓住旁边马斯克的肩膀,用力摇晃着:“埃隆!你听懂了吗!”
“这东西能把我们的模型速度提升一千倍!”
“它能读懂所有的书!”
马斯克虽然技术底子不如伊利亚深,但他脑子转得极快。
他听懂了林哲那个相亲大会的比喻。
他也看懂了伊利亚现在这种癫狂的状态代表着什么。
这就代表着,林哲刚才随手在白板上画的东西,真的能解决一切问题!
马斯克转过头,看着站在那里一脸云淡风轻的林哲,心里的震撼简直无法用语言来形容。
他一直以为,林哲只是个有钱的大土豪。
只是个靠投资眼光准,赚了千亿身家的商人。
他跑去拉赞助的时候,还觉得自己把林哲给忽悠了。
现在他才明白。
林哲根本不是什么不懂技术的大凯子!
这家伙的脑子里,装着超越整个硅谷的恐怖智慧!
随便扔出来一个点子,就能直接改变人工智能的发展轨迹!
这特么还是人吗?
“林……”
马斯克咽了口唾沫,声音有点干涩。
“这个……自注意力机制……是你自己想出来的?”
林哲挑了挑眉,脸不红心不跳地把后世那篇着名论文《Attention Is All You Need》的核心思想据为己有。
“那不然呢?”
“我看你们在这死胡同里转不出来,就替你们想想办法呗。”
林哲走到一张椅子前坐下。
“别傻站着了。”
“思路我给你们指出来了。”
“门我也给你们踹开了。”
“剩下的脏活累活,写代码、调参数,总不用我亲自动手了吧?”
伊利亚如梦初醒。
他猛地转过身,冲着全办公室的人大吼一声:“还愣着干什么!”
“全部回工位!”
“把之前的RNN代码全给我删了!”
“马上立项新架构!”
“今天晚上谁也不许睡觉!”
整个办公室瞬间炸开了锅。
几十个顶尖科学家跟打了鸡血一样,疯狂扑向自己的电脑。
噼里啪啦的敲击键盘声,顿时响彻整个楼层。
再也没有人抱怨了。
再也没有人绝望了。
每个人眼里都闪烁着狂热的光芒。
马斯克站在原地,看着这群疯狂的科学家。
他又看了看坐在沙发上喝水的林哲。
心里的滋味复杂极了。
有激动,有后怕,还有深深的敬畏。
他走到林哲跟前,老老实实站着,再也没有了之前那种狂妄的架势。
“林,谢谢你。”
马斯克是真心实意地道谢。
如果没有林哲今天这顿点拨,openAI估计撑不过明年就要散伙。
林哲摆了摆手。
“别谢我,谢我没用。”
“好好干活,早点把模型跑出来。”
“记住,你们现在烧的每一度电,用的每一张显卡,都是我在买单。”
林哲站起身,理了理衣服。
“等你们把这个架构跑通了,把参数堆上去。”
“你们就会发现,一个全新的时代要来了。”
“到时候,咱们再好好算算账。”
林哲拍了拍马斯克的肩膀,带着一直憋笑的大卫,走出了办公室。