的指令，神经网络在训练过程中，不仅有矩阵计算，还伴随着大量的临时文件读写，内存控制流跳转，数据预处理等问题。”

    “目前其他芯片，在处理这些复杂的控制流时，效率很低，会频繁卡死。”

    “而且现在的神经网络训练需要耗费海量的内存来存储权重和中间激活值，我们的服务器可以插上48GB甚至96GB的内存来支持。”

    “可以说，用CPU来训练神经网络就是业界约定俗成的标准答案！”

    说完，陈工见漆昊没什么反应，以为他累了，就拍了拍他的肩膀：“别整天把自己绷得太紧，这事儿你不用管，后天齐教授就会来开组会，检查我们上一阶段的工作进度，剩下的工作不多，没多久咱们这个课题基本上就能结题了。”

    “我琢磨着，等组会开完，我带大家一块出去放松放松，附近新开了一家温泉山庄，去泡个温泉怎么样？去不去？”

    泡温泉？

    漆昊缓过神，脑海中浮现出一幅画面。

    大冬天的，一个烟雾缭绕的池子里，挤着十几个平时不修边幅的糙汉，大家坦诚相见，在温水里泡着。

    漆昊暗自打了个冷战，连忙找了个借口：“陈工，我就不去了，怕水。”

    陈工狐疑地上下打量了他一眼：“怕水？你一个一米八的大个子，泡个一米深的温泉池子，你怕水？”

    漆昊干笑两声，说：“之前呛过水。”

    陈工立刻理解了，说：“原来如此，那这样，泡温泉取消，等开完组会，我带大家去整一顿最给力的海鲜自助，这总行了吧？”

    “这个好，我举双手赞成。”

    “那就这么定了！”

    回到工位后，漆昊重新将注意力集中到了电脑上。

    他翻了一会儿卡尔采夫的书，突然愣住了。

    冷战时期，苏联的半导体工艺全面落后于西方，算力拉胯，可卡尔采夫硬生生靠着大规模同步并行架构，支撑起了国家级系统的超级算力。

    陈工的说法在当下的工程界确实没错，神经网络训练中确实掺杂着数据读取等细碎的控制操作，这些任务高度依赖CPU强大的通用调度能力和复杂指令处理能力。

    这也是为什么，如今不管是大厂还是高校，大家都老老实实地守着CPU训练。

    他意识到，所有人似乎忽略了一个最基础的数学事实！

    神经网络的核心算力消耗，从来不是那些细碎的控制流操作，而是海量的矩阵乘加运算！

    也就是说，标准答案≠正确答案！

    业界所有人都错了！