第 6 章神经网络的计算原理

人工神经网络是一种对人脑神经认知机制的模拟，是人工智能连接主义的基础。近年来随着深度学习和大模型的兴起，神经网络再次成为了人工智能的前沿研究热点，大量新的计算方法被提出，被广泛应用于机器视觉、语音、语言、舆情分析、生物医药等诸多领域，显著提升了当今人工智能的发展水平。

本章将重点阐述神经网络的计算原理。首先介绍经典神经网络的基本计算原理，包括感知机、前馈神经网络和神经网络训练等，这些是构建现代神经网络的基础。另外，善于描述序列型数据的神经网络当前取得了重大突破（譬如 GPT 系列等），这里主要介绍循环神经网络、转换器和时序卷积神经网络等，它们为神经网络理解言语交互等信息提供了基础。除此以外，善于描述实例间依赖关系的图神经网络最近也被提出，它被视为是连接主义与符号主义的结合，不仅可使深度学习应用于图这种非欧式结构上，还能为深度学习赋予一定的推理能力，这些为实现神经网络的鲁棒性和解释性提供了新方向。

本章主要关注于经典神经网络的计算原理和面向序列型数据的神经网络以及图神经网络前沿，期望能够为神经网络的发展提供计算方面的原理性指导。