目前人工智能的主要学派有三家：符号主义、进化主义和连接主义

一个循环神经网络可以被展开成为一个完全连接的、具有无限长度的普通神经网络

Dropconnect对一个神经元随机屏蔽输入和输出权重

Dropout对一个神经元随机屏蔽输入权重

对于非连续目标在深度神经网络的优化过程中，AdaGrad梯度下降方法是最好的

有许多种梯度下降算法，其中两种最出名的方法是l-BFGS和SGD。l-BFGS根据二阶梯度下降而SGD是根据一阶梯度下降的。
只有在数据很稀疏的场景中，会更加偏向于使用l-BFGS而不是SGD

将Sigmoid激活函数改为ReLu，将有助于克服梯度消失问题

在神经网络中，每个参数可以有不同的学习率

可以通过将所有权重初始化为0来训练网络

卷积的物理意义是：一个函数（如：单位响应）在另一个函数（如：输入信号）上的加权叠加。

训练CNN时，可以对输入进行旋转、平移、缩放等预处理提高模型泛化能力