军训结束后的第一周，姚班正式开始上课。

    陈阳利用重生者的优势，在课堂上游刃有馀。

    数学分析课上精准回答了关于函数连续性证明的问题，计算机视觉课上提出用深度学习做特征提取的思路，算法课上对动态规划的理解让老师连连点头。

    就连下课后，陈阳也经常主动去老师办公室请教问题。

    一周下来，姚班的几位内核教授都对这个大一新生留下了深刻印象。

    周五下午是姚教授的《计算理论》课。

    这是姚班最受重视的课程之一，姚教授每周只讲一次，但每次都是精华。

    教室里坐得满满当当，大家都很认真。

    姚教授今天讲的是计算复杂性理论，讲到P问题和NP问题的关系时，他停下来，看着台下的学生。

    “我有一个问题，“

    姚教授的声音不大，但很有穿透力，

    “假设我们有一个算法，能在多项式时间内验证某个问题的解是否正确，那么我们能不能在多项式时间内找到这个解？“

    教室里安静了几秒，大家都在思考。

    陈阳举起手。

    姚教授微微点头：“请讲。“

    “目前来说，我们不能。“

    陈阳站起来，“验证一个解的正确性，和找到这个解，是两个不同复杂度的问题。

    比如数独游戏，验证一个填好的数独是否正确很容易，但要找到正确的填法，可能需要尝试大量组合。这就是NP问题的特点——验证容易，求解难。“

    姚教授眼中闪过一丝赞许：“继续。“

    陈阳顿了顿，“但是，在某些特殊情况下，我们可以通过启发式算法或者近似算法，在可接受的时间内找到足够好的解。虽然不一定是最优解，但在实际应用中往往已经够用了。“

    “很好。“姚教授点点头，

    “理论和实践的结合，这是一个很重要的视角。这位同学叫什么名字？“

    “陈阳。“

    “陈阳同学的回答很有深度。

    “姚教授对全班说，“大家要记住，学习计算理论不是为了证明数学定理，而是为了理解计算的本质，从而在实践中做出更好的设计。“

    下课后，陈阳收拾东西准备离开。

    “陈阳。“

    姚教授站在讲台上，朝他招手。

    “你刚才提到的启发式算法，“

    姚教授看着他，“在什么样的实际场景中用过？“

    陈阳知道，机会来了。

    “我暑假的时候创办了一个爬虫公司，做数据分析。“

    陈阳说，“在爬取数据的过程中，遇到了一个很棘手的问题，验证码识别。“

    “验证码？“姚教授来了兴趣。

    “对。象处理方法效果很不稳定，“

    陈阳说，“所以我开始研究深度学习的方法来解决这个问题。“

    “深度学习？“姚教授眼中的赞许更明显了，“这个方向很前沿。你遇到什么困难了吗？“

    “遇到了。“陈阳组织着语言，“当我把网络层数加深的时候，出现了梯度消失的问题。反向传播到浅层的时候，梯度已经接近零了，导致浅层根本训练不动。“

    姚教授点点头，这是深度学习领域人尽皆知的难题。

    “我查阅了很多文献，“

    陈阳说，“Geoffrey Hinton的预训练方法、Yann LeCun的卷积神经网络，都给了我很多启发。我尝试用ReLU激活函数代替Sigid，用Dropout防止过拟合，用数据增强扩充训练集。这些方法确实有效。“

    “效果怎么样？“

    “梯度消失的问题基本解决了。“

    陈阳说，“但随之而来的，出现了一个新的问题。“

    “什么问题？“姚教授明显更感兴趣了。

    “退化问题。“陈阳说，“当我把网络层数从8层增加到20层的时候，理论上模型的表达能力更强了，但实际训练出来的准确率反而下降了。而且这不是过拟合，因为训练集上的准确率也下降了。“

    姚教授沉思了几秒：“这很有意思。你确定不是训练方法的问题？“

    “确定。“

    陈阳说，“我。这说明深层网络并没有学到更好的特征，反而退化了。“

    “你怎么解释这个现象？“

    “我觉得，“陈阳说，“问题在于网络太深之后，优化变得非常困难。即使梯度能传回来，但优化路径太长太复杂，很容易陷入次优解。“

    “有道理。“姚教授点点头，“那你是怎么解决的？“

    陈阳深吸一口气，这是关键时刻。

    “我尝试了一个想法，“他说，“改变网络的连接