重生1996:我教黄老板做显卡 第590章 伊利亚顿悟
热门推荐:
千万月薪:女总裁拿我当专属奴隶
约战,选我当主角?大可不必!
重生1996:我教黄老板做显卡
扶春枝
诸天恶人:我的良心被狗吃了
全球玩家苦练武,就我一人在修仙
六零:被顶替的司令千金重生了
王重阳?滚来修仙!
终极进化路
萨姆·奥尔特曼心里头直犯嘀咕。
不是吧?
他们openAI几十号全硅谷最顶尖的AI博士,拿着八万张英伟达最新的显卡,在机房里没日没夜烧了十五亿美金,折腾了大半年,最后卡死在了这个胡说八道的书呆子模型上。
结果林哲连机房都没去,只是随手掏出四页两年前喝茶时瞎写的废稿,就说能解决这个天大的难题?
这听着也太玄乎了!
要是换个人敢跟奥尔特曼这么吹牛,奥尔特曼早就抓起桌上的水杯泼过去了。
可对面坐着的是林哲。
奥尔特曼不敢炸刺,只能拿手肘轻轻捅了捅身边的伊利亚,使了个眼色,小声催促道:
“伊利亚,愣着干啥?林先生让你看,你赶紧拿起来看看啊!”
伊利亚这会儿也是半信半疑。
他是个搞算法研究的死心眼,平时只信算力和参数。
在他看来,一千七百五十亿参数的模型之所以听不懂人话,那就是脑容量还不够大,必须得靠十万张显卡硬堆上去才行。
四页纸就能顶十万张显卡?
这怎么可能?!
不过出于对林哲当年画出transformer架构的崇拜,伊利亚还是把那四页打印纸捏了起来。
林哲窝在沙发里,重新抓起游戏手柄,随口说道:“你们俩就在这儿看吧,看明白了就赶紧走人,别耽误我打下一关。”
“要是看不懂,就顺手帮我扔进门口的垃圾桶里,反正也是几页没用的废纸。”
伊利亚没吭声,低头往第一页纸上看去。
刚开始看第一眼的时候,伊利亚脸上还带着几分漫不经心。
可仅仅过了片刻。
伊利亚脸上那点怀疑的表情就全没了!
【基于人类偏好反馈的模型意图对齐框架——三步走训练法】
“意图对齐……三步走……”
伊利亚嘴里小声念叨了一句,眼睛顺着那个画着箭头的流程图往下移。
第一页纸上,写的是第一步:
【第一步:监督指令微调(SFt)】
底下用几行数学公式,外加几句简短的英文批注写着操作办法,大概意思是:
别再拿网上抓来的那些乱七八糟的网页去硬喂模型了!
那个一千七百五十亿参数的底座,肚子里早就吃饱了,现在缺的是教它守规矩的范本!
直接花点小钱,去雇几百个大学生或者专业写手,人工写出一万条到几万条最标准的一问一答示范题!
比如人类问:“请写一份商业报告。”
示范答案就直接老老实实写出报告的正文,绝对不准在底下接着编标题!
把这几万条高质量的人工问答范本喂给千亿底座,不需要从头训练,只需要轻轻微调一下表层的权重参数,让那个只会背书的书呆子先看明白:哦,原来人类输入一句话,是让我回答问题,不是让我玩词语接龙啊!
看到这第一步,伊利亚的呼吸一下就粗重了起来!
他急忙翻到了第二页!
第二页纸上,写的是第二步:
【第二步:训练奖励模型(Rm)】
伊利亚一目十行地往下看,越看心头越是狂跳!
经过第一步的微调之后,模型已经知道要回答问题了,但它有时候还是会犯浑,还是会一本正经地胡说八道,比如教人喝洗洁精或者拿激光剑决斗。
怎么治它这个满嘴跑火车的毛病呢?
如果每一句话都让人去改,哪怕把全地球的人都雇来也改不过来!
纸上的公式给出了一个办法:教出一个专门给大模型打分的小裁判!
让千亿大模型针对同一个问题,一口气生成四个不同的回答。
然后让人类的标注员上去看一眼,像老师批改小学生作业一样,给这四个回答排个名次:哪个回答最像人话、最有用,就打最高分;哪个回答在胡说八道,就打负分!
用人类打出来的这些分数,去训练一个参数很小、专门负责挑刺的奖励模型!
这样一来,这个小裁判就彻底学会了人类的喜好,知道人类喜欢听什么样的人话,讨厌什么样的鬼话!
“我的上帝啊……”
伊利亚惊叹不已,迫不及待翻开了第三页和第四页!
最后两页纸上,写着整个框架最核心的收尾大招:
【第三步:近端策略优化强化学习(ppo / RLhF)】
当第一步的大模型和第二步的小裁判全都准备好之后,直接把它们俩关进同一个机房里,让它们自己跟自己对练!
大模型每说出一句话,小裁判就在零点零一秒内按照人类的标准给它打个分。
只要大模型老老实实听从指令、回答得准确漂亮,算法就给它发一颗糖,加大这部分神经元权重的奖励。
只要大模型敢偷懒搞续写,或者敢瞎编什么喝洗洁精炖皮鞋的疯话,小裁判当场就给它一巴掌,用数学惩罚函数狠狠扣它的分,逼着它把嘴里的疯话咽回去!
三个步骤!
指令微调、奖励打分、强化学习优化!
一环扣一环,在数学逻辑上形成了一个完美得挑不出半点毛病的闭环!
根本不需要再去买什么十万张新显卡!
更不需要把参数硬堆到什么虚无缥缈的万亿级别!
只需要用这套三步走的办法,拿人类的偏好标准,像给孙悟空脑袋上戴紧箍咒一样,套在那头一千七百五十亿参数巨兽的头上!
只要紧箍咒一念,这头原本疯疯癫癫、听不懂指令的书呆子巨兽,立马就会变得服服帖帖,把它肚子里装的几千万本书的真正智慧,完完全全地释放出来!
时间,仅仅过去了几分钟。
办公室内,电视机里还在响着林哲砍怪物的声音。
而坐在沙发上的伊利亚,整个人彻底僵在了那儿,一动不动!
他捏着那四页纸的手,抖得越来越厉害,连带着纸张都在哗啦啦地乱响。
因为大脑受到的冲击实在太大,伊利亚一口气没倒上来,两只眼珠子往上翻了翻,脖子一梗,差点当场背过气去!
坐在旁边的奥尔特曼本来正在看林哲打游戏呢,听见动静扭头一看,当场吓得魂飞魄散!
“伊利亚?!伊利亚你咋了?!”
奥尔特曼一把扶住往后仰的伊利亚,看他满脸通红、翻白眼直抽抽的样子,吓得扯着嗓子大喊起来:
“大卫先生!快叫救护车!伊利亚看数学公式看中风了!他快背过气去了!”
站在旁边看戏的大卫也吓了一跳,刚想掏手机。
窝在沙发里的林哲却淡定地摆了摆手:“叫什么救护车,大惊小怪的。”
“你往他后背上使劲拍两巴掌,把那口气顺过来就行了。”
奥尔特曼赶紧照做,抡圆了巴掌,啪啪两下,重重拍在伊利亚的后背上!
“咳咳咳——!!”
伊利亚猛地剧烈咳嗽起来,卡在嗓子里的那口大气总算是顺了过来。
他根本顾不上后背疼,一把推开扶着自己的奥尔特曼,从沙发上蹦了起来,双手捧着那四页A4纸,跟捧着上帝亲手写的圣经一样,在原地激动得手舞足蹈:
“通了!全通了!困扰我们所有人的难题,彻底解开了!!”
“上帝啊!这就是神迹!这是只有神明才能写出来的终极密码!!”
不是吧?
他们openAI几十号全硅谷最顶尖的AI博士,拿着八万张英伟达最新的显卡,在机房里没日没夜烧了十五亿美金,折腾了大半年,最后卡死在了这个胡说八道的书呆子模型上。
结果林哲连机房都没去,只是随手掏出四页两年前喝茶时瞎写的废稿,就说能解决这个天大的难题?
这听着也太玄乎了!
要是换个人敢跟奥尔特曼这么吹牛,奥尔特曼早就抓起桌上的水杯泼过去了。
可对面坐着的是林哲。
奥尔特曼不敢炸刺,只能拿手肘轻轻捅了捅身边的伊利亚,使了个眼色,小声催促道:
“伊利亚,愣着干啥?林先生让你看,你赶紧拿起来看看啊!”
伊利亚这会儿也是半信半疑。
他是个搞算法研究的死心眼,平时只信算力和参数。
在他看来,一千七百五十亿参数的模型之所以听不懂人话,那就是脑容量还不够大,必须得靠十万张显卡硬堆上去才行。
四页纸就能顶十万张显卡?
这怎么可能?!
不过出于对林哲当年画出transformer架构的崇拜,伊利亚还是把那四页打印纸捏了起来。
林哲窝在沙发里,重新抓起游戏手柄,随口说道:“你们俩就在这儿看吧,看明白了就赶紧走人,别耽误我打下一关。”
“要是看不懂,就顺手帮我扔进门口的垃圾桶里,反正也是几页没用的废纸。”
伊利亚没吭声,低头往第一页纸上看去。
刚开始看第一眼的时候,伊利亚脸上还带着几分漫不经心。
可仅仅过了片刻。
伊利亚脸上那点怀疑的表情就全没了!
【基于人类偏好反馈的模型意图对齐框架——三步走训练法】
“意图对齐……三步走……”
伊利亚嘴里小声念叨了一句,眼睛顺着那个画着箭头的流程图往下移。
第一页纸上,写的是第一步:
【第一步:监督指令微调(SFt)】
底下用几行数学公式,外加几句简短的英文批注写着操作办法,大概意思是:
别再拿网上抓来的那些乱七八糟的网页去硬喂模型了!
那个一千七百五十亿参数的底座,肚子里早就吃饱了,现在缺的是教它守规矩的范本!
直接花点小钱,去雇几百个大学生或者专业写手,人工写出一万条到几万条最标准的一问一答示范题!
比如人类问:“请写一份商业报告。”
示范答案就直接老老实实写出报告的正文,绝对不准在底下接着编标题!
把这几万条高质量的人工问答范本喂给千亿底座,不需要从头训练,只需要轻轻微调一下表层的权重参数,让那个只会背书的书呆子先看明白:哦,原来人类输入一句话,是让我回答问题,不是让我玩词语接龙啊!
看到这第一步,伊利亚的呼吸一下就粗重了起来!
他急忙翻到了第二页!
第二页纸上,写的是第二步:
【第二步:训练奖励模型(Rm)】
伊利亚一目十行地往下看,越看心头越是狂跳!
经过第一步的微调之后,模型已经知道要回答问题了,但它有时候还是会犯浑,还是会一本正经地胡说八道,比如教人喝洗洁精或者拿激光剑决斗。
怎么治它这个满嘴跑火车的毛病呢?
如果每一句话都让人去改,哪怕把全地球的人都雇来也改不过来!
纸上的公式给出了一个办法:教出一个专门给大模型打分的小裁判!
让千亿大模型针对同一个问题,一口气生成四个不同的回答。
然后让人类的标注员上去看一眼,像老师批改小学生作业一样,给这四个回答排个名次:哪个回答最像人话、最有用,就打最高分;哪个回答在胡说八道,就打负分!
用人类打出来的这些分数,去训练一个参数很小、专门负责挑刺的奖励模型!
这样一来,这个小裁判就彻底学会了人类的喜好,知道人类喜欢听什么样的人话,讨厌什么样的鬼话!
“我的上帝啊……”
伊利亚惊叹不已,迫不及待翻开了第三页和第四页!
最后两页纸上,写着整个框架最核心的收尾大招:
【第三步:近端策略优化强化学习(ppo / RLhF)】
当第一步的大模型和第二步的小裁判全都准备好之后,直接把它们俩关进同一个机房里,让它们自己跟自己对练!
大模型每说出一句话,小裁判就在零点零一秒内按照人类的标准给它打个分。
只要大模型老老实实听从指令、回答得准确漂亮,算法就给它发一颗糖,加大这部分神经元权重的奖励。
只要大模型敢偷懒搞续写,或者敢瞎编什么喝洗洁精炖皮鞋的疯话,小裁判当场就给它一巴掌,用数学惩罚函数狠狠扣它的分,逼着它把嘴里的疯话咽回去!
三个步骤!
指令微调、奖励打分、强化学习优化!
一环扣一环,在数学逻辑上形成了一个完美得挑不出半点毛病的闭环!
根本不需要再去买什么十万张新显卡!
更不需要把参数硬堆到什么虚无缥缈的万亿级别!
只需要用这套三步走的办法,拿人类的偏好标准,像给孙悟空脑袋上戴紧箍咒一样,套在那头一千七百五十亿参数巨兽的头上!
只要紧箍咒一念,这头原本疯疯癫癫、听不懂指令的书呆子巨兽,立马就会变得服服帖帖,把它肚子里装的几千万本书的真正智慧,完完全全地释放出来!
时间,仅仅过去了几分钟。
办公室内,电视机里还在响着林哲砍怪物的声音。
而坐在沙发上的伊利亚,整个人彻底僵在了那儿,一动不动!
他捏着那四页纸的手,抖得越来越厉害,连带着纸张都在哗啦啦地乱响。
因为大脑受到的冲击实在太大,伊利亚一口气没倒上来,两只眼珠子往上翻了翻,脖子一梗,差点当场背过气去!
坐在旁边的奥尔特曼本来正在看林哲打游戏呢,听见动静扭头一看,当场吓得魂飞魄散!
“伊利亚?!伊利亚你咋了?!”
奥尔特曼一把扶住往后仰的伊利亚,看他满脸通红、翻白眼直抽抽的样子,吓得扯着嗓子大喊起来:
“大卫先生!快叫救护车!伊利亚看数学公式看中风了!他快背过气去了!”
站在旁边看戏的大卫也吓了一跳,刚想掏手机。
窝在沙发里的林哲却淡定地摆了摆手:“叫什么救护车,大惊小怪的。”
“你往他后背上使劲拍两巴掌,把那口气顺过来就行了。”
奥尔特曼赶紧照做,抡圆了巴掌,啪啪两下,重重拍在伊利亚的后背上!
“咳咳咳——!!”
伊利亚猛地剧烈咳嗽起来,卡在嗓子里的那口大气总算是顺了过来。
他根本顾不上后背疼,一把推开扶着自己的奥尔特曼,从沙发上蹦了起来,双手捧着那四页A4纸,跟捧着上帝亲手写的圣经一样,在原地激动得手舞足蹈:
“通了!全通了!困扰我们所有人的难题,彻底解开了!!”
“上帝啊!这就是神迹!这是只有神明才能写出来的终极密码!!”