这是坤元这一轮预训练的Loss曲线。

    Loss是损失值可以理解成模型犯错的程度，数字越低说明模型学得越好。训练的过程就是让这条曲线一路往下走。

    这条曲线确实在往下走，但走得比他预期的快。

    刘大海把时间轴拉长，把上一轮的曲线叠进来对比。差异很明显，不像是误差范围内的波动，应该是系统性的提升。

    他在心里排除了几个可能的原因：学习率没改，模型架构没动，算力配置没变。难道这批数据有特殊？

    刘大海立刻站起来，动身去了数据组。

    数据组的负责人叫吴英豪，三十出头，戴眼镜。数据组主要的工作就是收集和清洗数据。

    这是个脏活，累活，在大模型开发的产业链里比较底层。

    刘大海过去的时候他正在核对一份入库日志。

    “英豪，这轮训练咱用了什么新数据没有？”刘大海拍了下他的椅背。