高效能的人工智能系统需要问题领域的知识，通常可把这些知识细分为以下几种基本类别（）

假设我们有一个5层的神经网络，这个神经网络在使用一个4GB显存显卡时需要花费3个小时来完成训练。而在测试过程中，单个数据需要花费2秒的时间。如果我们现在把架构变换一下，当评分是0.2和0.3时，分别在第2层和第4层添加Dropout，那么新架构的测试所用时间仍是2秒

假设我们有一个使用ReLU激活函数(ReLUactivationfunction)的神经网络，假如我们把ReLU激活替换为线性激活，那么这个神经网络能够模拟出同或函数(XNORfunction)

L-BFGS使用的是二阶差分(secondorderdifferentiation)

AdaGrad使用的是一阶差分(firstorderdifferentiation)

深度学习与机器学习算法之间的区别在于，后者过程中无需进行特征提取工作，也就是说，我们建议在进行深度学习过程之前要首先完成特征提取的工作。

对于神经网络，减少神经网络层数,总是能减小测试数据集的分类错误率

增加卷积核的大小对于改进卷积神经网络的效果是必要的

当在卷积神经网络中加入池化层(poolinglayer)时，变换的不变性会被保留

基于二次准则函数的H-K算法较之于感知器算法的优点是计算量小

LeakyReLU函数解决了神经死亡问题