语音合成技术是将文本状态的文字信息转化为可听的声音信息，相当于给机器装上了人工的“嘴巴”

对于非连续目标在深度神经网络的优化过程中，AdaGrad梯度下降方法是最好的

有许多种梯度下降算法，其中两种最出名的方法是l-BFGS和SGD。l-BFGS根据二阶梯度下降而SGD是根据一阶梯度下降的。
只有在数据很稀疏的场景中，会更加偏向于使用l-BFGS而不是SGD

将Sigmoid激活函数改为ReLu，将有助于克服梯度消失问题

在神经网络中，每个参数可以有不同的学习率

可以通过将所有权重初始化为0来训练网络

卷积的物理意义是：一个函数（如：单位响应）在另一个函数（如：输入信号）上的加权叠加。

训练CNN时，可以对输入进行旋转、平移、缩放等预处理提高模型泛化能力

强化学习中最终目标不是短期的某一步行动之后获得最大的奖励，而是希望长期地获得更多的奖励。

相较于机器学习经典的有监督学习、无监督学习问题，强化学习最大的特点是在交互中学习

在现有的深度学习模型中，句子情感分类通常会形成一个联合的三类别分类问题，即预测句子为积极、中立或消极。