通常所用的集合，可以描述为（）。

与普通反向传播不同的是，BPTT会在每个时间步长内叠加所有对应权重的梯度

当构建一个神经网络进行图片的语义分割时,先用反卷积神经网络处理输入，再用卷积神经网络得到输出

混沌度(Perplexity)是一种常见的应用在使用深度学习处理NLP问题过程中的评估技术，混沌度越高越好

假设我们有一个5层的神经网络，这个神经网络在使用一个4GB显存显卡时需要花费3个小时来完成训练。而在测试过程中，单个数据需要花费2秒的时间。如果我们现在把架构变换一下，当评分是0.2和0.3时，分别在第2层和第4层添加Dropout，那么新架构的测试所用时间仍是2秒

假设我们有一个使用ReLU激活函数(ReLUactivationfunction)的神经网络，假如我们把ReLU激活替换为线性激活，那么这个神经网络能够模拟出同或函数(XNORfunction)

L-BFGS使用的是二阶差分(secondorderdifferentiation)

AdaGrad使用的是一阶差分(firstorderdifferentiation)

深度学习与机器学习算法之间的区别在于，后者过程中无需进行特征提取工作，也就是说，我们建议在进行深度学习过程之前要首先完成特征提取的工作。

对于神经网络，减少神经网络层数,总是能减小测试数据集的分类错误率

增加卷积核的大小对于改进卷积神经网络的效果是必要的