3024.在神经网络训练过程中,梯度消失问题通常发生在哪种类型的激活函数中?

题目解析： 题干：在神经网络训练过程中，梯度消失问题通常发生在哪种类型的激活函数中？ 正确答案：B: Sigmoid 解析： 梯度消失问题是深度神经网络训练中常见的问题之一，指的是在反向传播过程中，误差梯度随着网络层数的加深而逐渐变小，最终趋近于零，导致浅层网络的权重几乎无法更新，从而使得训练停滞。 该问题主要出现在使用饱和型激活函数的网络中，尤其是当激活函数的导数在大部分输入区间内非常小的时候。 逐项分析选项： A: ReLU ReLU（Rectified Linear Unit）函数定义为 f(x) = max(0, x)。其导数在 x > 0 时为 1，在 x < 0 时为 0。由于在正区间导数恒为 1，不会出现梯度不断缩小的情况，因此在一定程度上缓解了梯度消失问题。不是梯度消失的主要诱因。 B: Sigmoid Sigmoid 函数定义为 f(x) = 1 / (1 + e^(-x))，其输出范围在 (0, 1) 之间。该函数在输入值较大或较小时会进入饱和区，此时其导数接近于 0。在反向传播中，多个小导数相乘会导致梯度指数级衰减，从而引发严重的梯度消失问题。因此，Sigmoid 是梯度消失问题的典型代表。 C: LeakyReLU LeakyReLU 是对 ReLU 的改进，定义为 f(x) = x（当 x > 0），f(x) = αx（当 x ≤ 0，α 为一个很小的正数，如 0.01）。其优点是在负区间也有非零梯度，避免了神经元“死亡”问题，同时保持了较大的梯度值，有助于缓解梯度消失。因此不易导致梯度消失。 D: Tanh Tanh（双曲正切函数）虽然也存在饱和区（输入绝对值大时导数趋近于 0），同样可能引起梯度消失，但相比 Sigmoid，其输出均值为 0，具有更好的中心化特性，且梯度相对较大，因此在实践中比 Sigmoid 稍好。尽管如此，它仍属于可能导致梯度消失的函数，但题目问的是“通常发生”的典型情况，Sigmoid 更为经典和突出。 核心知识点： 1. 梯度消失问题：在深层网络中，反向传播时链式法则导致多层小梯度相乘，使前面层的参数更新极慢。 2. 激活函数的导数特性：饱和型激活函数（如 Sigmoid、Tanh）在输入过大或过小时导数趋近于零，是梯度消失的根源。 3. Sigmoid 函数因其输出平滑、易于解释，曾被广泛使用，但因其严重梯度消失问题，在深层网络中已被 ReLU 类函数取代。 结论： 正确答案为 B，因为 Sigmoid 激活函数在输入极端值时导数极小，极易在深层网络中引发梯度消失问题，是该问题最典型的代表。