卷积神经网络中的局部连接是指：在进行图像识别的时候，不需要对整个图像进行处理，只需要关注图像中某些（）的区域。

决策树中不包含外部结点

在普通的全连接网络或CNN中，每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立，因此又被成为前向神经网络(Feed-forward+Neural+Networks)。

Sigmoid是神经网络中最常用到的一种激活函数，除非当梯度太大导致激活函数被弥散，这叫作神经元饱和,这就是为什么ReLU会被提出来，因为ReLU可以使得梯度在正向时输出值与原始值一样。这意味着在神经网络中ReLU单元永远不会饱和。

与普通反向传播不同的是，BPTT会在每个时间步长内叠加所有对应权重的梯度

当构建一个神经网络进行图片的语义分割时,先用反卷积神经网络处理输入，再用卷积神经网络得到输出

混沌度(Perplexity)是一种常见的应用在使用深度学习处理NLP问题过程中的评估技术，混沌度越高越好

假设我们有一个5层的神经网络，这个神经网络在使用一个4GB显存显卡时需要花费3个小时来完成训练。而在测试过程中，单个数据需要花费2秒的时间。如果我们现在把架构变换一下，当评分是0.2和0.3时，分别在第2层和第4层添加Dropout，那么新架构的测试所用时间仍是2秒

假设我们有一个使用ReLU激活函数(ReLUactivationfunction)的神经网络，假如我们把ReLU激活替换为线性激活，那么这个神经网络能够模拟出同或函数(XNORfunction)

L-BFGS使用的是二阶差分(secondorderdifferentiation)

AdaGrad使用的是一阶差分(firstorderdifferentiation)