5.2.3 基本框架

围绕目标和分析路线，神经网络的数学原理的研究内容可以分为

三个部分，一是理解与提升神经网络的优化速度，二是理解与增强神经网络的泛化能力，三是理解与拓宽神经网络的表示能力。三个部分共同支撑研究目标，每个部分需要不同的数学分析视角，这些研究也将促进数学的学科发展。具体地：

（1）理解优化算法可以增强神经网络训练过程的可解释性，从而改进优化算法，降低训练成本。这部分的研究一方面需要优化理论来分析优化算法，另一方面也需要概率统计来对随机场景进行分析。在强化学习场景下，还需要控制论的知识。

（2）理解泛化度量可以找到泛化能力的根本原因，降低神经网络在实际应用中的不确定性，增强其可解释性，帮助设计方法提升网络泛化能力，降低训练成本。这部分的研究需要概率统计和信息论来刻画实际场景与训练集之间的关系，也需要优化理论刻画优化器的隐式正则作用。

（3）理解神经网络的表示能力能了解每种神经网络的表示能力差异，在实际应用之前了解可行性，同时辅助全新神经网络架构设计，降低训练成本。这部分的研究既需要函数逼近论来刻画表示能力，也需要信息论来刻画压缩神经网络的最小量级。

图 5-2 神经网络数学原理的框架