用户是专家系统的组成部分

Dropconnect对一个神经元随机屏蔽输入和输出权重

Dropout对一个神经元随机屏蔽输入权重

对于非连续目标在深度神经网络的优化过程中，AdaGrad梯度下降方法是最好的

有许多种梯度下降算法，其中两种最出名的方法是l-BFGS和SGD。l-BFGS根据二阶梯度下降而SGD是根据一阶梯度下降的。
只有在数据很稀疏的场景中，会更加偏向于使用l-BFGS而不是SGD

将Sigmoid激活函数改为ReLu，将有助于克服梯度消失问题

在神经网络中，每个参数可以有不同的学习率

可以通过将所有权重初始化为0来训练网络

卷积的物理意义是：一个函数（如：单位响应）在另一个函数（如：输入信号）上的加权叠加。

训练CNN时，可以对输入进行旋转、平移、缩放等预处理提高模型泛化能力

强化学习中最终目标不是短期的某一步行动之后获得最大的奖励，而是希望长期地获得更多的奖励。