方式。“

    “怎么改？“

    “我在深层和浅层之间加了一些跳跃连接，“陈阳解释道，“让浅层的信息可以直接绕过中间层，传递到深层。这样深层网络在最坏的情况下，也能退化成浅层网络的效果，不会比浅层网络差。“

    姚教授的眼睛亮了：“这个思路很新颖。具体是怎么实现的？“

    “简单来说，就是让每一层学习的不是目标函数本身，而是目标函数和输入之间的残差。“陈阳说，“这样即使某些层学不到东西，也不会影响整体效果。“

    “残差学习。“姚教授若有所思，“这个想法很有创造性。效果怎么样？“

    “效果很好。。而且训练速度也比之前快了很多。“

    姚教授看着陈阳，沉默了几秒。

    “陈阳，“他说，“你现在有时间吗？跟我去办公室，我们详细聊聊。“

    “有。“陈阳说。

    姚教授的办公室在FIT楼五层，很宽敞，书架上摆满了书籍和论文。

    “坐。“姚教授指了指沙发，然后给陈阳倒了杯茶。

    “你刚才说的残差学习，“姚教授坐下来，“能画个图给我看看吗？“

    “可以。“陈阳走到白板前，拿起马克笔。

    他在白板上画了一个简单的网络结构图。

    “传统的网络，“陈阳指着图说，“是让这些层去学习一个映射函数H(x)，直接从输入x映射到输出y。“

    “但在残差网络里，

    姚教授盯着白板，眼神专注：“为什么这样做会更容易优化？“

    “因为对于恒等映射来说，“陈阳说，“让F(x)学习为0，比让H(x)学习为x要容易得多。而在深层网络中，很多层确实应该接近恒等映射，这样才不会破坏浅层学到的特征。“

    “妙啊。“姚教授赞叹道，“这个想法非常优雅。你是怎么想到的？“

    陈阳早就准备好了说辞：“我在研究Highway Networks的一些早期思想时得到的启发。他们用门控机制来控制信息流动，但我觉得太复杂了。后来我想，能不能用最简单的加法连接？试了一下，发现效果特别好。“

    “你的网络现在用在验证码识别上？“姚教授问。

    “是的。“陈阳说，“我训练了一个18层

    “50层？“姚教授有些惊讶。

    姚教授站起来，在办公室里走了几步：“陈阳，你的这个工作非常有价值。不仅解决了实际问题，而且在理论上也有创新。“

    他停顿了一下，转头看着陈阳：“你有没有在更大规模的数据集上测试过这个方法？比如IgeNet？“

    “测试过。“陈阳点点头，“我用IgeNet 2012的数据集训练了一个152层的深度残差网络。“

    “152层？！“姚教授眼睛瞪大。

    “是的。“陈阳说，“因为有了残差连接，网络可以训练得非常深，而且不会出现退化问题。“

    “还用了并行框架”陈阳心里说道，只是没表示出来。

    “效果怎么样？。“

    姚教授的手颤了一下。

    办公室里安静了几秒。？“姚教授盯着陈阳，声音都有些颤斗，“你确定这个数字？“

    “确定。。“

    姚教授走到窗边，背对着陈阳站了一会儿。

    然后他转过身：“陈阳，你知道这意味着什么吗？“

    “知道。“陈阳说，“这意味着深度学习在图象识别领域，已经可以达到一个非常高的水平。“

    “不仅如此。。这已经非常接近人类的识别水平了。

    他走到电话前，拿起话筒：“小陈，帮我联系一下张文凯老师和李明教授，就说我这里有个很重要的事情，请他们现在过来一下。“

    挂了电话，姚教授转头对陈阳说：“你等一下，我请了两位计算机视觉方向的教授过来。他们需要看看你的工作。“

    “好的。“

    十分钟后，两位教授赶到了。

    张文凯老师陈阳见过，是给姚班上计算机视觉课的老师。

    另一位李明教授年纪稍大，是清华计算机系视觉方向的学术带头人。

    “老姚，这么着急叫我们来干什么？“李明教授笑着问。

    “你们看看这个学生的工作。“姚教授指着陈阳。

    陈阳又把刚才的内容讲了一遍，并且在白板上详细画出了残差网络的结构。

    两位教授一开始还比较随意，但越听越认真，到最后都站到了白板前仔细研究。

    “你这个跳跃连接，“张文凯问，“会不会导致梯度爆炸？“

    “不会。“陈阳说，“因为加法操作的