条负载曲线上，看了一会儿。

    实验室里的人都没有出声。

    周庆宇站在他侧后方，手里还攥着刚才介绍系统时用来指屏幕的笔，笔帽不知道什么时候被他在指尖转松了，发出细微的咔咔声。

    他自己都没注意到。

    所有人的注意力都在肖宿身上。

    “周老师，你们的调度器在处理通用AI训练任务的时候，节点利用率大概是多少？”

    周庆宇微微松了口气，这个问题他答得上来。

    “通用任务的话，GPU平均利用率在百分之七十五到八十五之间，峰值能到九十以上。”

    他说这话的时候语气里带着一点不明显的底气。

    这个数字在国内高校的算力中心里确实算漂亮的，去年SC会议的论文里专门有一段就是分析这个利用率数据的。

    肖宿点了点头，没有评价这个数字是高还是低。

    他的目光从负载曲线移到了机柜的指示灯上，那一排排绿灯有规律地明灭，像某种呼吸的节奏。

    “那如果跑小智的框架呢？”

    周庆宇那点底气一下子散了。

    “小智框架我们上周跑过一次基准测试，解耦度确实很惊人，和论文里的数据一致，但是实际运行速度只比传统模型快了三成左右，节点利用率……”

    他停了一下，“不到百分之五十。”

    “跟我预估的差不多。”

    肖宿说这句话的时候语气很平淡。

    他走到白板前。

    宋晓曼几乎是下意识地往旁边让了一步，手里还攥着那块擦白板的抹布。

    “我在设计小智的时候，用了一个前提假设。”

    他的手快速的在白板上移动，很快就画出了一张结构清淅的层次图。

    “传统大模型的特征空间是高维的，所有信息搅在一起。语义、逻辑、符号，全都在同一个高维矢量里。

    这种结构下，计算密集度集中在张量收缩操作上，单次计算量大，但跨节点通信的频率低。

    通信开销相对于计算开销来说占比很小，所以调度策略把任务拆碎、撒出去、并行跑，是对的。”

    他的笔停在第一层和第二层之间。

    “小智的思路相反，我把这三层解耦了，语义层的表征被压缩到紧致群的不可约表示空间里，逻辑层单独建模，符号层再单独建模。

    每一层的维度都比传统模型低了将近两个数量级。”

    他在每一层旁边标注了映射的计算复杂度。

    语义解析：O(n log n)。

    逻辑推理：O(n2)。

    符号映射：O(n)。

    “维度降低之后，单次计算量变小了，但三层之间的依赖关系比传统模型复杂。

    语义层的输出是逻辑层的输入，逻辑层的中间结果需要和符号层频繁交换。

    而且三层的计算复杂度不一样，逻辑层算得最慢，语义层次之，符号层最快。”

    他转过身，笔尖点了点监控屏幕上那条负载曲线。

    “所以如果还用传统调度策略，把每一层都拆成等大的子块撒出去，会出现一个情况，那就是符号层的节点很快就跑完了，然后空转，等逻辑层的节点把结果传过来。

    逻辑层的节点本身就算得慢，还要负责汇总子节点的数据，通信压力全堆在它身上，结果就是……”

    “大部分节点不在算，而是在等。”周庆宇接了一句。

    肖宿点头。