下书看 > 重生1996:我教黄老板做显卡 > 第654章 【MoE(混合专家稀疏架构)】

重生1996:我教黄老板做显卡 第654章 【MoE(混合专家稀疏架构)】

    梁文锋笑了笑,放下手里的咖啡杯,走上前去拿起一支红笔。

    他在林念画的那个大胖子旁边,刷刷刷地画了上百个小方格子,然后在上面写下了三个英文字母:【moE(混合专家稀疏架构)】!

    底下的程序员老周一看这三个字母,挠了挠头,举手插话道:

    “锋哥,林念,这个moE混合专家的路子,我之前看openAI的论文里好像提过一嘴啊。”

    “当时openAI那帮人把模型拆成了八个大专家块,结果跑起来之后发现根本不行!”

    “为啥呢?因为所有的活儿全往其中最聪明的一两个专家身上挤,剩下那六个专家天天躺平不干活,最后那两个累死的专家把显卡显存都给撑爆了,跑出来的模型笨得像头猪,openAI自己都放弃这条路了,咱们能走通吗?”

    老周这问题问到了点子上。

    屋里其他几个搞算法的博士也纷纷点头,觉得这条路以前有人走死过,是个大坑。

    “openAI走不通,那是因为openAI那帮人太懒,刀法太糙了!”

    林念一点都不怵,笑嘻嘻地指着白板上的小格子说道:“周大哥,你想想看,openAI是怎么切肉的?”

    “那么大一头猪,他们偷懒,只切了八刀,分成了八个大肉块!”

    “每个大肉块里头,还是装了一大堆杂七杂八的参数,懂数学的、懂语文的、懂写代码的还全混在一个大锅里!”

    “这样切出来的所谓专家,根本就不专精,所以干活的时候大家才不知道该找谁,全往一个地方乱挤!”

    林念拿起蓝色的笔,在白板上画了一个像蜂窝煤一样密密麻麻的网格图,脆生生地说道:

    “我和梁老板商量出来的办法,叫细粒度混合专家架构!”

    “什么叫细粒度?就是咱们把刀磨快点,别只切八刀,咱们直接切它二百五十六刀!”

    “咱们把这一千七百五十亿参数的大胖子,直接拆成二百五十六个个头特别小、但手艺特别精的小专家!”

    为了让屋里那帮写底层汇编的程序员也听得明明白白,梁文锋在旁边笑着打了个比方:

    “大家可以把以前的稠密大模型,想象成一个什么病都看的全科老中医,虽然啥都懂,但看个小感冒也得把全套医书背一遍,挂号费贵得要死。”

    “现在呢,我们把这个老中医拆了,直接改成一家有二百五十六个小诊室的专科医院!”

    “一号诊室的小专家,别的啥也不会,这辈子就只研究怎么写python代码。”

    “二号诊室的小专家,就只研究怎么算微积分数学题。”

    “三号诊室只管写唐诗宋词,四号诊室只管看医疗ct片子……”

    “同时,我们再从这二百五十六个专家里,挑出两三个记性最好的,放在大门口当全天值班的公共常识专家,专门负责记那些一加一等于二、怎么说人话的基础常识,免得其他专科专家还要重复去记这些废话!”

    梁文锋用红笔在医院大门口画了一个小喇叭:“当外头的用户发来一个问题,比如说帮我用python写一段贪吃蛇游戏代码。”

    “大门口那个只占几百万参数的分诊台小开关(Router),只花零点一毫秒扫一眼,立马就能认出来:哟,这是写代码的活儿!”

    “分诊台开关啪的一下,只把一号写代码诊室、还有七号游戏逻辑诊室的灯给点亮叫醒!”

    “算上门口值班的基础常识专家,每次回答用户一句话,咱们在二百五十六个专家里,只精准叫醒其中最对口的八个小专家起来干活!”

    说到这儿,梁文锋转过身,看着台下眼睛越来越亮的众人,继续说道:

    “总共二百五十六个专家,每次只叫醒八个!”

    “这就意味着,虽然咱们整个模型的总参数量依然是高达两千亿级别的聪明大脑,但用户每跟它聊一句话,咱们实际通电激活的参数,只有区区百分之五,也就是仅仅相当于一个百亿参数的小模型在耗电!”

    “剩下的那百分之九十五的小专家呢?全都在显存里关着灯呼呼大睡,连一度电都不花!!”

    这番大白话一讲完,屋里那三十多个技术宅男当场就沸腾了!

    “只叫醒百分之五的参数?剩下百分之九十五全躺着睡觉不耗电?!”

    “我的老天爷!那岂不是说,原本聊一句话要算一千七百五十亿次,现在只需要算不到一百亿次就行了?!”

    “这一下子,光计算量就直接砍掉了百分之九十以上!”

    程序员老周激动道,但紧接着他又想到了刚才那个问题,赶紧追问:

    “锋哥!道理我全听懂了,这细粒度切分加公共常识专家的办法确实牛逼!”

    “可是还有一个老问题没解决啊,万一那个分诊台小开关抽了风,不管来什么病人,它还是死心眼地全往其中几个诊室里塞,导致有的显卡累死、有的显卡闲死,那不还是会堵车崩溃吗?”

    “这就是咱们接下来几天要啃的硬骨头了!”

    林念接过话茬,晃了晃手里的白板笔,自信满满地说道:

    “以前openAI他们为了防止诊室堵车,用的是在数学公式后面硬加一个罚款项(辅助损失函数),哪个诊室人多了就扣谁的分。”

    “结果分是扣了,模型为了不被罚款,干脆胡乱把看牙疼的病人塞进妇产科去,把模型直接给搞笨了!”

    “我和梁老板昨晚熬夜想了个新招,咱们不搞罚款那套蠢办法!咱们给每个诊室门口挂一个动态排队叫号牌(无辅助损失的动态偏置项)!”

    “只要一号诊室这会儿排队的人满了,叫号牌的数字自动往下调一点,后面的病人自然而然就顺着去隔壁同样懂代码的备用诊室了,既不耽误看病质量,又能让两万张NpU卡上的所有专家忙闲完全平均!”

    “至于拆成二百五十六个小碎片之后,卡与卡之间来回传数据容易堵车的问题……”

    林念转头看了一眼老周和那帮写汇编的程序员,笑嘻嘻地说道:

    “这不就轮到你们这帮手搓底层汇编的大神出场了吗?!”

    “咱们直接拿机器汇编语言,把跨卡通信的指令焊死在纪元NpU的底层通信管道里,让数据流一边在网线里跑、一边就把计算给干完了,把通信堵车的时间彻底压到零!”