噪声数据的产生原因主要有：（）

LeakyReLU函数解决了神经死亡问题

当在内存网络中获得某个内存空间时，通常选择读取矢量形式数据而不是标量，这里需要基于内容的寻址或基于位置的寻址来完成

一个循环神经网络可以被展开成为一个完全连接的、具有无限长度的普通神经网络

Dropconnect对一个神经元随机屏蔽输入和输出权重

Dropout对一个神经元随机屏蔽输入权重

对于非连续目标在深度神经网络的优化过程中，AdaGrad梯度下降方法是最好的

有许多种梯度下降算法，其中两种最出名的方法是l-BFGS和SGD。l-BFGS根据二阶梯度下降而SGD是根据一阶梯度下降的。
只有在数据很稀疏的场景中，会更加偏向于使用l-BFGS而不是SGD

将Sigmoid激活函数改为ReLu，将有助于克服梯度消失问题

在神经网络中，每个参数可以有不同的学习率

可以通过将所有权重初始化为0来训练网络