上面是一份打开的文档

    《汤圆模型-意图理解：可能的技术路径分析》

    “这是我昨晚连夜写的。”刘大海说。

    技术人的邀功还是直白了点。

    他把屏幕对着郑晓波，往前推了推。

    “先说排除法，指定不是架构创新。”

    “意图理解这条赛道，OpenAI的GPT现在是公认的天花板，也就78分出头。他拿一个开源的7B架构，参数量只有人家的零头，跑出85.2。郑总，这么跟您说吧，这就好比一个我们那县城中学的一个差生，用别人的旧课本自学，高考分数比全省状元还高三十分。我拍胸脯地说，绝对不是架构创新，7B的架构就那么点东西，翻不出花来。”

    “现在大模型的竞争，已经过了参数军备竞赛的那个阶段了。几百亿参数、几千亿参数，架构上大家都整的差不多。Transforr还是那个Transforr，无非是层数搁（gě）那儿多一层少一层，注意力头多一个少一个。”

    刘大海一边说一边仔细观察郑晓波的表情。

    技术人给领导汇报，又怕说多了太多技术细节，领导听不懂。又怕说的太少太简略，领导觉得不满意。只能小心翼翼，随时调整。

    “我能想到唯一的解释，除非这个县城学生用的不是别人的旧课本，而是一份全世界别的学生都没有的，黄金复习资料。”

    郑晓波还是面无表情。

    这时程远插话了他没听懂，这没关系，但他主要是怕郑总也没听懂，这种问题不能让郑总来问。

    “刘博士，不好意思，你这个比喻指的是？”

    “是标注数据。”刘大海也意识到自己说上头了，赶紧扯回来，“郑总也大概了解，我就简单说一下。”

    他把电脑转过来，去网上搜了一个流程图，再转回去面向郑晓波。

    “咱们训练大模型主要分为几个阶段，先是预训练，就是堆语料，咱们恨不得把互联网上所有的东西都给它整进去。”

    “然后是监督微调，找一帮人给模型做示范，教它学明白啥是好赖话儿。”

    “再往后就是对齐，让模型学着按人的想法来排，回答得更像正常人说话。”

    刘大海指了指屏幕上的流程图。

    “第一步大家用的语料都差不多，互联网就那么多东西，你抓我也抓。真正拉开差距的是后面两步，谁的数据标注质量高，谁训出来的模型就强。”

    “所以我说，那个……对方效果能做的这么好，一定是有好的标注数据。”

    刘大海把韩路一的名字忘了，公司名字也忘了，只好中途改口。

    不行，一会回去得查查这个公司，那个技术负责人，看看他的论文。

    做出训练出这种水平的模型，不可能没有学术积累。

    听到这，一直沉默不语的郑晓波突然开了口：“Scale AI。”

    

    第一百四十三章 把他的数据供应商，挖过来

    郑晓波这句话一出口，刘大海就知道自己不用再说了。

    郑晓波是真的懂。

    执掌鼎盛这样一个巨头，确实得有两把刷子，知识储备到了，至少沟通成本能低不少。

    而且AI赛道正在风口上，哪家大厂也不敢掉队，对行业的关注甚至不比领域内的投资人和从业者少。

    Scale AI，硅谷最炙手可热的独角兽之一，他们不做模型，不做产品，只专注做一件事数据标注，可以说是AI时代的卖铲人。

    就凭这一项业务，Scale AI的估值做到了几百亿美金。

    这是什么概念？小半个鼎盛了。

    于是刘大海在文档里连翻了几页，跳过了准备好的铺垫，直接翻到一张对比图。

    “2023年6月，微软研究院发了一篇论文，叫《Textbooks Are All You Need》（你只需要教科书），用精心筛选的教科书级别的数据训了一个十三亿参数的小模型，Phi-1，在代码生成任务上打赢了市面上那些参数量是它十倍、训练数据是它一百倍的大模型。”

    程远插了一句：“刘博士，这是什么概念？”

    “当时除了GPT没有一个模型跑得过它。”刘大海说，“只有十三亿的参数，8张A100训练了4天，就这么点成本。这篇论文证明了一件事，数据质量够高，小模型就能干翻大模型。”

    他转向郑晓波。

    “这和汤圆的情况完全吻合。7B，就是七十亿的参数，一万条训练数据，意图理解打赢了坤元。关键不是模型有多大，是数据质量得好。”

    最近几年，这几乎已经成为AI行业的共识了：谁的标注质量高，谁的模型就强。架构变化不大，算力的边际效益递减，但高质量的数据标注才还有很长的进步空间。