词向量是表示自然语言里单词的一种方法，即把每个词都表示为一个N维空间内的（）。

当构建一个神经网络进行图片的语义分割时,先用反卷积神经网络处理输入，再用卷积神经网络得到输出

混沌度(Perplexity)是一种常见的应用在使用深度学习处理NLP问题过程中的评估技术，混沌度越高越好

假设我们有一个5层的神经网络，这个神经网络在使用一个4GB显存显卡时需要花费3个小时来完成训练。而在测试过程中，单个数据需要花费2秒的时间。如果我们现在把架构变换一下，当评分是0.2和0.3时，分别在第2层和第4层添加Dropout，那么新架构的测试所用时间仍是2秒

假设我们有一个使用ReLU激活函数(ReLUactivationfunction)的神经网络，假如我们把ReLU激活替换为线性激活，那么这个神经网络能够模拟出同或函数(XNORfunction)

L-BFGS使用的是二阶差分(secondorderdifferentiation)

AdaGrad使用的是一阶差分(firstorderdifferentiation)

深度学习与机器学习算法之间的区别在于，后者过程中无需进行特征提取工作，也就是说，我们建议在进行深度学习过程之前要首先完成特征提取的工作。

对于神经网络，减少神经网络层数,总是能减小测试数据集的分类错误率

增加卷积核的大小对于改进卷积神经网络的效果是必要的

当在卷积神经网络中加入池化层(poolinglayer)时，变换的不变性会被保留