5.4.1 对自适应优化器的分析

自适应优化器是对于使用历史梯度信息动态计算步长和更新方向的优化器的统称，同时也是目前深度学习的优化中所采用的主流算法。这类算法由于形式较为复杂，经典内容中缺乏其收敛性分析。近年来，研究者们对非凸优化的技术进行拓展，成功建立了一些主流的自适应优化器的收敛性分析。