多选题
下列关于Dropout的说法正确的有()。
A
Dropout背后的思想其实就是把DNN当作一个集成模型来训练,之后取所有值的平均值,而不只是训练单个DNN
B
DNN网络将Dropout率设置为p,也就是说一个神经元被保留的概率是1-p。当一个神经元被丢弃时,无论输入或者相关的参数是什么,它的输出值就会被设置为0
C
丢弃的神经元在训练阶段,对BP算法的前向和后向阶段都没有贡献。由于这个原因,每一次训练都像是在训练一个新的网络
D
Dropout方法通常和L2正则化或其他参数约束技术(比如Max Norm)一起使用,来防止神经网络的过拟合
答案解析
正确答案:ABCD
解析:
Dropout是指在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃。注意是暂时,对于随机梯度下降来说,由于是随机丢弃,故每一个mini-batch都在训练不同的网络。防止过拟合的方法:①提前终止(当验证集上的效果变差的时候);②L1和L2正则化加权;③soft weight sharing dropout。dropout率的选择:经过交叉验证,隐含节点dropout率等于0.5的时候效果最好,此时dropout随机生成的网络结构最多。Dropout也可以被用作一种添加噪声的方法,直接对input进行操作。输入层设为更接近1的数,使得输入变化不会太大(0.8)。
题目纠错
相关题目
单选题
下列关于异常处理的描述正确的是()。
单选题
Python用于异常处理结构中捕获特定类型的异常的保留字是()。
单选题
下列关于异常说法正确的是()。
单选题
已知列表对象x=['11',2','3],则表达式max(x,key=len)的值为()。
单选题
在Python中,函数()。
单选题
运行下面程序,输出的结果是()。
def chanageInt number2):
number2=number2+1
print ("changeInt:number2=",number2)
#调用
numberl=2;ChanageInt (number1)
print ("number:"number1)
单选题
可变参数*args传入函数时存储的类型是()。
单选题
下列关于函数的参数的描述错误的是()。
单选题
下列关于函数的关键字参数使用限制的描述错误的是()。
单选题
下列关于Python的全局变量和局部变量的描述错误的是()。
