Sigmoid是神经网络中最常用到的一种激活函数，除非当梯度太大导致激活函数被弥散，这叫作神经元饱和,这就是为什么ReLU会被提出来，因为ReLU可以使得梯度在正向时输出值与原始值一样。这意味着在神经网络中ReLU单元永远不会饱和。

A. skip-gram$;$CBOW$;$GRU$;$BERT

A. 特征值$;$标签$;$特征值和标签$;$预测值

A. 进程管理$;$存储管理$;$设备管理$;$文件管理

A. 可理解性可记忆性可体验性$;$可接受性可记忆性可体验性$;$可接受性可记忆性可呈现性$;$可理解性可记忆性可呈线性

A. k+1$;$k$;$k-1$;$k-2

A. Boosting$;$Bagging$;$Stacking$;$Mapping

A. 输入门 $;$记忆门$;$ 忘记门$;$ 输出门

A. 采用属性条件独立性假设$;$ 假设属性之间相互独立$;$ 为了避免条件概率是所以属性上的联合概率$;$ 假设属性之间是相关的