第1442章 谷歌急了:偷师中国AI! (第1/2页)
“八十七点四比三十一点二。”
“这压根不是一个时代的玩意儿。谁给我交个底,过去这大半年,咱们往机房里砸的几亿美金算力经费,到底都喂了狗还是听了个响?”
“皮特,上个月董事会上你拍着胸脯打保票,说咱们的百亿参数Delphi已经摸到中国天问三号的脚后跟了。来,你看着这份盲测数据,给我念念这叫摸到哪儿了?”
两天后一早,山景城,谷歌总部行政大楼顶层第一会议室。
长条红木会议桌上摊着几份刚从B4实验室送来的机密评测报告。
皮查伊捏着其中一张图表,抬手甩向高级副总裁皮特。
A4纸贴着桌面滑过去,带翻了皮特手边的半杯黑咖啡。
深褐色的咖啡顺着桌沿往下滴,砸在皮特的西装裤腿上。
皮特没敢伸手去拿纸巾,脖子缩着,盯着面前那张彩色柱状图,额头上的汗顺着鬓角往下淌。
长桌两旁坐着十几个核心高管和首席架构师,屋里连呼吸声都放轻了。
报告首页印着四十八小时极限压力测试的对比结果。
参测的一共三家:谷歌自家砸了几亿美金堆出来的百亿参数Delphi内部最新版、通过公网API付费调取的天问三号,还有从那几台黑市走私回来的华为Mate10PrO和MateBOOk里扒出来的端侧离线模型“太子”。
天问三号拿第一,没人觉得意外。元旦发布会上人家已经亮过肌肉了。
除了外界知道的千亿参数体量和基础自注意力机制,回响科技把云端底座的网络层数配比、合成数据清洗管线还有强化学习对齐权重捂得严严实实,谷歌动用了好几条商业间谍线,也没摸到半点真东西,只能靠公开接口做盲测。
真正把在场这帮高管脸皮扒下来踩在地上的,是排第二的那个小东西。
涵盖物理空间常识、复杂代码生成、多语种逻辑推演的十二个测试维度,天问三号拿了九十六点八分。
而那个被塞进手机芯片里、只有十来亿参数的离线模型“太子”,综合得分八十七点四。
至于谷歌自家那个跑起来得调动上千张高端计算卡伺候的Delphi,综合得分三十一点二。
别说追天问三号,连人家塞手机里的离线小模型都打不过,裤衩子都输没了。
“皮查伊先生,这……这不合常理。”
皮特抬手抹了一把下巴上的汗,嗓子发干。
“按回响科技在上海发布会上交的底,那个太子模型,是拿天问三号当老师,靠知识蒸馏和量化剪枝压出来的。”
“咱们实验室前两年也跑过不少知识蒸馏的课题,可没见过这么邪门的转化率。”
“参数砍掉上百倍,核心逻辑推理还能留住八成以上,这根本不符合现有的模型压缩规律。”
长桌中段,B4实验室技术主管马库斯推了下眼镜,把话接了过去。
“皮查伊先生,皮特这话没掺假。咱们之前确实把知识蒸馏在大语言模型里的路子看窄了。”
“没摸到这批华为真机前,咱们总觉得蒸馏只能干点文本分类或者词向量压缩的粗活,一旦碰上多步逻辑推理,小模型准得变成傻子。”
“但这四十八小时把底裤扒开一看,只要顶头的教师模型够聪明,拿高质量的合成数据拼命喂,小尺寸模型的逻辑上限完全能被硬拽上去好几个台阶。”
马库斯顿了一下,身体往前探了探。
“既然咱们自己从头预训练这么费劲,干嘛不换条道走?”
“直接去蒸馏中国的天问三号。”
这话一出,死气沉沉的会议室里顿时响起一片交头接耳的动静。
管财务和资本市场对接的副总裁理查德挑起半边眉毛,身子往桌面上靠了靠。
“马库斯,你们搞技术的黑话我听不懂,你说的这个蒸馏,到底怎么个干法?难不成派人去四川把回响科技的机房给搬回来?”
“犯不着偷服务器,理查德。”
马库斯站起身,走到前头的电子白板边,拔开触控笔在屏幕上画了两个方框。
“说白了,知识蒸馏就是找个已经出师的顶尖大模型当老师,手把手带一个参数小的学生模型。”
“落到实操上,就两条路:白盒蒸馏,黑盒蒸馏。”
“白盒蒸馏,意思是咱们手里攥着老师模型的全部源代码、内部权重,还有每一层神经网络的中间参数。回响科技在自家机房里拿天问三号喂那个太子模型,干的就是这事。”
“老师不光给学生标准答案,连自己解题时脑子里哪个神经元亮了、对备选词的偏好是多少,全盘托出灌给学生。”
“这路子折损最小,所以八百兆的太子模型才这么能打。”
理查德撇了下嘴,两手一摊:
“那你扯这个干嘛?天问三号埋在四川的山肚子里,顾屿那小子把核心代码锁得跟铁桶一样,咱们上哪儿搞白盒去?”
“白盒没戏,但咱们能搞黑盒蒸馏。”
马库斯拿触控笔在第二个方框上笃笃敲了两下,嗓门提了起来。
(本章未完,请点击下一页继续阅读)