5.3.1 表达能力

神经网络的表达能力分析一般基于函数逼近论，通过构造性证明得到神经网络要完成某一任务所需要的最小参数量以及网络架构设计。神经网络具有非常强大的表达能力。通用近似定理首次展示了使用 Sigmoid 激活函数、拥有单一隐藏层、任意宽度的前馈神经网络可以用来近似任意的复杂函数，并且可以达到任意近似精准度。

表达能力只给出了神经网络在最优情况下的表现，但不涉及这样的最优情况是否可以通过优化算法达到。另外，往往由于证明技术问题，理论得到的对于参数量的需求远大于真实的需求，从而无法指导实践网络设计。