监督学习的三大要素为标注数据、学习模型及损失函数

专家系统本身是一个程序，它与传统程序是一样的

监督学习的学习数据既有特征（feature），也有标签（label）

自编码是非监督学习类算法。

Lasso回归的误差函数的惩罚项是学习参数的平方之和

岭回归的误差函数的惩罚项是学习参数的绝对值之和

正则化通过向损失函数增加惩罚项的方式对模型施加制约，以提高模型的泛化能力

采用不同的分割方案对数据集进行划分并进行验证，即所谓的“交叉验证”，可有效防止过拟合

对于超参数的设置可采用网格搜索法确定其最优值

对训练数据的预测效果很好，但对验证数据的预测效果不好的现象称为过拟合

t-SNE(t-Distributed Stochastic Neighbor Embedding)是一种将高维的复杂数据降为二维（或三维）的算法，用于低维空间的可视化