记本。

    赵文渊翻到其中一页，把本子摊在茶几上。

    “三条路。”

    他指着第一行。

    “第一条，继续走RLHF，强化学习加人类反馈。”

    RLHF，Reinforcent Learning froHun Feedback，强化学习加人类反馈。简单说，就是让真实用户来当裁判，用户觉得生成得好，模型记住；用户觉得不行，模型改。久而久之，模型就能学会“用户认为好的内容”。

    韩路一没说话，等他往下讲。

    “思路很简单，开物上线这几个月，真实用户的操作数据我们全都留着。用户觉得生成得好的，点了采纳；觉得不行的，手动改了或者重新生成。这些行为本身就是最好的反馈信号。用这些数据训一个奖励模型，然后用强化学习让天工去拟合这个奖励函数。”

    “有别于之前我们基于BugKiller数据的反馈训练，这种训练可以让模型更加理解用户输入所对应的意图，这是超越Bug修复的部分，更偏向于语义理解。”

    “成本呢？”

    “标注基础设施加上奖励模型训练和迭代，大概五百到一千万，时间三到六个月。上限嘛，”赵文渊想了想，“估计能再提三到五个点，到八十八左右。”

    “这个提升不算大。”

    “在这个阶段每一点提升都很艰难，而且这条路的核心优势不在上限。”赵文渊说，“开物的真实用户行为数据，是我们独有的资产。别人花钱也买不到。”

    韩路一点了下头。

    “第二条，”赵文渊翻到下一页，“MoE，混合专家模型。”

    MoE，Mixture of Experts，混合专家模型。不是把一个模型训得什么都会，而是训一群各有专长的小模型，遇到问题再决定派谁上。像一家公司，与其要求每个员工全能，不如让专业的人做专业的事。

    “这个主要是架构层面的改变。不改基座，不改训练方法，改调用方式、推理方式。把一个大模型拆成多个专精的子模型一个擅长Python、一个擅长前端、一个擅长数据库。推理时根据任务类型自动路由到最合适的专家，同算力下效果更好，应该也能提三到五个点。”赵文渊接着说。

    “成本？”韩路一问道。

    “一千到两千万，架构要重写，模型要重训，时间四到八个月。”赵文渊说，“技术上挑战不算太大，成本主要是要调的模型多。但是需要补人，我们现在的团队在MoE方面没有经验，至少要招两到三个做过类似架构的人。”

    “最后说第三条。”赵文渊又翻了一页，语气中有点儿兴奋是他作为科学家的兴奋。

    

    第一百一十八章 第三条路

    虽然没有明说，但赵文渊兴奋的语气让韩路一听出来，第三条是他最想走的路。

    “自训基座模型。”

    “现在市面上的开源底座，不够用了？”

    “别人开源的底座本身，从我们现在的角度来看，有很多的优化空间。如果我们从零开始训练一个代码专用大模型，架构可以针对代码生成做优化上下文窗口、依赖追踪、多文件理解，全部可以从底层设计。这种方式上限最高，完全自主可控，首轮正确率有可能能做到九十以上。”

    “成本也很高，对吧。”韩路一说。

    “三千万人民币起步。”赵文渊说，“而且是每一次。如果跑飞了参数配错、数据有问题、损失不收敛，那就得推倒重来，又是三千万。”

    韩路一暗自为这个数字咋舌。

    这就是那种，你心里早就知道它贵，真听到数字还是会感慨：真他妈的贵。

    赵文渊看了他一眼，继续说：“这个方案预估时间六到十二个月，风险极高，但是如果成了”

    他没把话说完。

    不需要说完。如果成了，天工就不只是微调模型，源码在AI时代就有了核心竞争力，这是谁也拿不走的王牌。

    自己的模型。

    自己的底座。

    自己的护城河。

    这一刻，韩路一其实比谁都清楚，这就是他最想要的东西。

    因为 AI这个行业，本质上是飞轮型竞争。

    越早进场，越早积累数据，越早迭代模型，越早建立产品闭环，就越容易把后面的人甩开。

    领先者不是领先一步。

    而是一步之后，还能借这一小步，再滚出下一步、下下一步。

    飞轮一旦转起来，后面的人想追，除非前面的人自己犯错。

    韩路一看着窗外的江面，心里很清楚：

    这条路，越早开始越好。

    但是，自研模型是个无底洞，究竟能不能成，没人知道。

    三条路，三个价格。