周伟皱着眉头调出系统日志。

    他的第一反应是内存泄漏，跑这种规模的高维矩阵运算偶尔会有内存管理方面的问题，但是扫了一眼日志之后发现不是。

    通信带宽都快被吃光了，InfiniBand互联已经飙到百分之九十八了，而且还在往上冲，再这样下去整个分区都要触发过热保护。

    他心里顿时咯噔了一下。

    触发过热保护的后果就是强制降频，算力直接腰斩，整个计算周期都会被无限拉长的。

    付霖站在后排，盯着那个卡住的进度条看了好一会儿。

    他是钱卫华的关门弟子，也是整个研究院最年轻的一个。

    他常年都在研究大规模图计算，对通信瓶颈比谁都敏感，看到这个曲线的时候脑子里已经开始过各种可能的原因了。

    常规的ScaLAPACK二维块划分在最坏情况下的通信量确实是全对全的，但是理论上，这种规模的数据，哪怕全对全也不应该把带宽吃成这样。

    除非，除非模型本身的数据结构有什么特殊的地方，导致了额外的冗馀通信。

    “会不会是模型本身就是走不通的……”

    他顺着这个思路往下走，嘴里不自觉地嘀咕出了声。

    话说出口的那一瞬间他还没意识到有什么问题。

    这也是他的工作习惯，遇到瓶颈先排查可能性，模型层面的问题是可能性之一。

    作为研究员，会发现问题是一种本事。

    但前提是，别找错了方向。

    当整个控制室的人都扭头看着他的时候，他才猛然意识到自己刚刚说了什么。

    他面前站的是谁。

    肖宿。

    那可是用一个月就证明哥德巴赫猜想，征服了湍流，站在数学和物理学顶端，被称为肖神的人。

    而他刚才当着所有人的面，质疑这个人的模型走不通。

    “不是不是不是！”他双手在胸前疯狂摆动，脸涨得通红。

    如果是别人，模型层面出问题的可能性确实存在。

    但是眼前这个人造的框架，用是不是模型的问题来开局，简直就是赤裸裸的犯傻。

    他恨不得把刚才那句话从空气里捞回来，急切的解释道：

    “我不是那个意思！我是说会不会是我们超算的通信架构太老了，不是模型的问题！”

    钱卫华在旁边揉了揉太阳穴，心里叹了一口气。

    这孩子技术底子不差，就是太年轻了，还没学会说话前先过脑子。

    不过他也没太担心，以他对肖宿的了解，对方不会在意这种无心之失。

    肖宿确实没有在意。

    他从来不觉得谁说的话会是绝对准确的，当然也不会要求所有人都无条件相信自己。

    只是，他并不觉得付霖说对了。

    相比于一台他尚不了解性能底细的机器，他明显更信任自己的脑子。

    肖宿在脑海里仔细回溯了一遍整个计算过程，最后，他的视线停在了屏幕上的那张通信拓扑图上。

    或许，他已经找到问题的所在了。

    他对周伟说：“把谱分解这一步的通信拓扑图调出来。”

    周伟点头，低头敲了几个命令，一张节点间通信拓扑图被投到大屏上。

    整张图象一团被猫挠过的毛线球，几乎每个节点都在和另外所有节点做数据交换，连接数密密麻麻堆栈在一起。

    “全对全通信，”肖宿看着那团毛线球，心里确认了自己的判断，“你们的并行分块是按什么分的？”

    “按矩阵的行列做二维块划分，标准的ScaLAPACK分布策略。”

    肖宿摇了摇头。

    所以，问题不在于超算架构，而是数据分块方式出现了问题。

    商空间降维里的等价类划分有一个被所有人忽略的特性，那就是等价关系本身就带有局部性。

    两个样本点在大多数维度上都不需要做全局对比，只有落在同一个局部邻域内的点才需要精确比较。

    但是标准的分块方式根本没利用这个特性，把每个节点都当成需要和所有其他节点交换数据来处理，等于白送了一大堆没用的通信开销。

    只要按等价类的局部邻域结构做图划分，让通信只发生在图的割边上，数据交换量就能从一个数量级压到另一个数量级了。

    肖宿没再多解释什么，他拉过键盘，开始敲起了代码。

    先用局部敏感哈希做预分桶，哈希函数用随机超平面投影，投影方向从数据的主成分方向里随机采样，保证高概率下近邻点落在同一个桶里。

    然后分块策略改用哈希桶的邻接图来做谱图划分，每个子图内的桶分配在同一个节点上，