专家系统的结构包含人机界面、知识库，推理机，动态数据库，知识库答理系统和解释模块。

损失函数与模型函数是一回事

二分类过程中，我们可将任意类别设为正例

网格搜索是一种参数调节的方法。

K 折交叉验证是指将测试数据集划分成 K 个子数据集。

逻辑回归当中也可以加入正则项用于避免过拟合。

逻辑回归的损失函数是交叉熵损失函数。

朴素贝叶斯算法不需要样本特征之间的独立
同分布。

树剪枝阶段。构造过程得到的并不是最简单、紧凑的决策树，因为许多分枝反映的可能是训练数据中的噪声或孤立点。树剪枝过程主要检测和去掉这种分枝，以提高对未知数据集进行分类时的准确性。

树构造阶段决策树采用自项向下的递归方式从根节点开始在每个节点上按照给定标准选择测试属性，然后按照相应属性的所有可能取值向下建立分枝、划分训练样本，直到一个节点上的所有样本都被划分到同一个类，或者某一节点中的样本数量低于给定值时为止。

决策树算法是数据挖掘分类中的一种常用的算法。在数据挖掘领域内，分类可以看成是从一个数据集到一组预先定义的、非交叠的类别的映射过程。