5.4.3 优化器的隐式正则分析

在神经网络的经典内容中，优化和泛化被分开考虑，从而泛化分析需要考虑模型空间中的所有模型的泛化性能，这极大的增大了模型空间的容度。优化器的隐式正则研究将优化器对于神经网络的选择作用纳入分析范畴，通过刻画优化器对于神经网络的选择作用缩小并限定了模型空间，从而提升了泛化能力。