下书看 > 重生1996:我教黄老板做显卡 > 第590章 伊利亚顿悟

重生1996:我教黄老板做显卡 第590章 伊利亚顿悟

    萨姆·奥尔特曼心里头直犯嘀咕。

    不是吧?

    他们openAI几十号全硅谷最顶尖的AI博士,拿着八万张英伟达最新的显卡,在机房里没日没夜烧了十五亿美金,折腾了大半年,最后卡死在了这个胡说八道的书呆子模型上。

    结果林哲连机房都没去,只是随手掏出四页两年前喝茶时瞎写的废稿,就说能解决这个天大的难题?

    这听着也太玄乎了!

    要是换个人敢跟奥尔特曼这么吹牛,奥尔特曼早就抓起桌上的水杯泼过去了。

    可对面坐着的是林哲。

    奥尔特曼不敢炸刺,只能拿手肘轻轻捅了捅身边的伊利亚,使了个眼色,小声催促道:

    “伊利亚,愣着干啥?林先生让你看,你赶紧拿起来看看啊!”

    伊利亚这会儿也是半信半疑。

    他是个搞算法研究的死心眼,平时只信算力和参数。

    在他看来,一千七百五十亿参数的模型之所以听不懂人话,那就是脑容量还不够大,必须得靠十万张显卡硬堆上去才行。

    四页纸就能顶十万张显卡?

    这怎么可能?!

    不过出于对林哲当年画出transformer架构的崇拜,伊利亚还是把那四页打印纸捏了起来。

    林哲窝在沙发里,重新抓起游戏手柄,随口说道:“你们俩就在这儿看吧,看明白了就赶紧走人,别耽误我打下一关。”

    “要是看不懂,就顺手帮我扔进门口的垃圾桶里,反正也是几页没用的废纸。”

    伊利亚没吭声,低头往第一页纸上看去。

    刚开始看第一眼的时候,伊利亚脸上还带着几分漫不经心。

    可仅仅过了片刻。

    伊利亚脸上那点怀疑的表情就全没了!

    【基于人类偏好反馈的模型意图对齐框架——三步走训练法】

    “意图对齐……三步走……”

    伊利亚嘴里小声念叨了一句,眼睛顺着那个画着箭头的流程图往下移。

    第一页纸上,写的是第一步:

    【第一步:监督指令微调(SFt)】

    底下用几行数学公式,外加几句简短的英文批注写着操作办法,大概意思是:

    别再拿网上抓来的那些乱七八糟的网页去硬喂模型了!

    那个一千七百五十亿参数的底座,肚子里早就吃饱了,现在缺的是教它守规矩的范本!

    直接花点小钱,去雇几百个大学生或者专业写手,人工写出一万条到几万条最标准的一问一答示范题!

    比如人类问:“请写一份商业报告。”

    示范答案就直接老老实实写出报告的正文,绝对不准在底下接着编标题!

    把这几万条高质量的人工问答范本喂给千亿底座,不需要从头训练,只需要轻轻微调一下表层的权重参数,让那个只会背书的书呆子先看明白:哦,原来人类输入一句话,是让我回答问题,不是让我玩词语接龙啊!

    看到这第一步,伊利亚的呼吸一下就粗重了起来!

    他急忙翻到了第二页!

    第二页纸上,写的是第二步:

    【第二步:训练奖励模型(Rm)】

    伊利亚一目十行地往下看,越看心头越是狂跳!

    经过第一步的微调之后,模型已经知道要回答问题了,但它有时候还是会犯浑,还是会一本正经地胡说八道,比如教人喝洗洁精或者拿激光剑决斗。

    怎么治它这个满嘴跑火车的毛病呢?

    如果每一句话都让人去改,哪怕把全地球的人都雇来也改不过来!

    纸上的公式给出了一个办法:教出一个专门给大模型打分的小裁判!

    让千亿大模型针对同一个问题,一口气生成四个不同的回答。

    然后让人类的标注员上去看一眼,像老师批改小学生作业一样,给这四个回答排个名次:哪个回答最像人话、最有用,就打最高分;哪个回答在胡说八道,就打负分!

    用人类打出来的这些分数,去训练一个参数很小、专门负责挑刺的奖励模型!

    这样一来,这个小裁判就彻底学会了人类的喜好,知道人类喜欢听什么样的人话,讨厌什么样的鬼话!

    “我的上帝啊……”

    伊利亚惊叹不已,迫不及待翻开了第三页和第四页!

    最后两页纸上,写着整个框架最核心的收尾大招:

    【第三步:近端策略优化强化学习(ppo / RLhF)】

    当第一步的大模型和第二步的小裁判全都准备好之后,直接把它们俩关进同一个机房里,让它们自己跟自己对练!

    大模型每说出一句话,小裁判就在零点零一秒内按照人类的标准给它打个分。

    只要大模型老老实实听从指令、回答得准确漂亮,算法就给它发一颗糖,加大这部分神经元权重的奖励。

    只要大模型敢偷懒搞续写,或者敢瞎编什么喝洗洁精炖皮鞋的疯话,小裁判当场就给它一巴掌,用数学惩罚函数狠狠扣它的分,逼着它把嘴里的疯话咽回去!

    三个步骤!

    指令微调、奖励打分、强化学习优化!

    一环扣一环,在数学逻辑上形成了一个完美得挑不出半点毛病的闭环!

    根本不需要再去买什么十万张新显卡!

    更不需要把参数硬堆到什么虚无缥缈的万亿级别!

    只需要用这套三步走的办法,拿人类的偏好标准,像给孙悟空脑袋上戴紧箍咒一样,套在那头一千七百五十亿参数巨兽的头上!

    只要紧箍咒一念,这头原本疯疯癫癫、听不懂指令的书呆子巨兽,立马就会变得服服帖帖,把它肚子里装的几千万本书的真正智慧,完完全全地释放出来!

    时间,仅仅过去了几分钟。

    办公室内,电视机里还在响着林哲砍怪物的声音。

    而坐在沙发上的伊利亚,整个人彻底僵在了那儿,一动不动!

    他捏着那四页纸的手,抖得越来越厉害,连带着纸张都在哗啦啦地乱响。

    因为大脑受到的冲击实在太大,伊利亚一口气没倒上来,两只眼珠子往上翻了翻,脖子一梗,差点当场背过气去!

    坐在旁边的奥尔特曼本来正在看林哲打游戏呢,听见动静扭头一看,当场吓得魂飞魄散!

    “伊利亚?!伊利亚你咋了?!”

    奥尔特曼一把扶住往后仰的伊利亚,看他满脸通红、翻白眼直抽抽的样子,吓得扯着嗓子大喊起来:

    “大卫先生!快叫救护车!伊利亚看数学公式看中风了!他快背过气去了!”

    站在旁边看戏的大卫也吓了一跳,刚想掏手机。

    窝在沙发里的林哲却淡定地摆了摆手:“叫什么救护车,大惊小怪的。”

    “你往他后背上使劲拍两巴掌,把那口气顺过来就行了。”

    奥尔特曼赶紧照做,抡圆了巴掌,啪啪两下,重重拍在伊利亚的后背上!

    “咳咳咳——!!”

    伊利亚猛地剧烈咳嗽起来,卡在嗓子里的那口大气总算是顺了过来。

    他根本顾不上后背疼,一把推开扶着自己的奥尔特曼,从沙发上蹦了起来,双手捧着那四页A4纸,跟捧着上帝亲手写的圣经一样,在原地激动得手舞足蹈:

    “通了!全通了!困扰我们所有人的难题,彻底解开了!!”

    “上帝啊!这就是神迹!这是只有神明才能写出来的终极密码!!”