5.3.2 泛化能力

泛化能力研究通常基于概率统计，通过建模训练数据和真实数据的关联来从理论估计泛化误差。传统的泛化与容度研究由于无法刻画优化得到的模型，往往基于最坏情形，即考虑所有可能的模型中泛化能力的最差值。由于分析基于最坏情形，传统理论对于泛化能力的估计基于模型空间的容度，即越复杂的模型估计其泛化能力越差。

实践中神经网络的复杂度往往很高，但其依然能在实际数据上表现很好，这与理论产生了矛盾。有学者甚至发现神经网络可以拟合任意随机标签，使基于最坏情形的分析完全失效。