Numpy中创建全为0的矩阵使用

为了解决特定的计算程序，如分类器或专家知识等多种模式，进行战略性生产和组合。这个过程被称为集成学习。

mini-batch太小会导致收敛变慢，太大容易陷入sharpminima，泛化性不好。

LSTM代表长期短期记忆。这是一种人工RNN(递归神经网络)架构,用于深度学习领域。

数据规范化是必不可少的预处理步骤,用于对值进行重新缩放以适合特定范围。

反向传播是一种用于多层神经网络的训练算法。它将错误信息从网络末端传输到网络内部的所有权重。它允许有效地计算梯度

Relu激活函数能解决梯度消失问题，但是会出现dyingrelu现象，即训练过程中，有些神经元实际上已经"死亡“而不再输出任何数值

卷积的作用：捕获图像相邻像素的依赖性；起到类似滤波器的作用，得到不同形态的featuremap

mini-batch太小会导致收敛变慢

BN的本质就是利用优化变一下方差大小和均值位置，使得新的分布更切合数据的真实分布，保证模型的非线性表达能力

用多个小卷积核串联可以有大卷积核同样的能力，2个3*3卷积核可以代替一个7*7卷积核，参数更少；