5.4.2 基于神经网络结构的优化分析

优化分析需要对神经网络模型进行建模。在神经网络的经典分析中，对神经网络的模型往往过于简化而与神经网络的性质相去太远。例如，经典分析中假设优化目标满足二阶导数有界，然而深度神经网络的二阶导数变化剧烈并且无界。近年来，研究者们通过实验观察重新对神经网络进行抽象建模，并基于此给出了全新的收敛性质分析。