单选题
考虑某个具体问题时可能只有少量数据,但如果有一个类似问题已经预先训练好的神经网络,则可以有很靠谱的先验。可以利用这个预先训练好的网络的方法是()。
A
把除了最后一层外所有的层都冻住,重新训练最后一层
B
对新数据重新训练整个模型
C
只对最后几层进行训练调参(fine tune)
D
对每一层模型进行评估,选择其中的少数来用
答案解析
正确答案:C
解析:
如果有个预先训练好的神经网络,就相当于网络各参数有个很靠谱的先验代替随机初始化。若新的少量数据来自先前训练数据(或者先前训练数据量很好地描述了数据分布,而新数据采样自完全相同的分布),则冻结前面所有层而重新训练最后一层即可。但一般情况下,新数据分布跟先前训练集分布有所偏差,所以先验网络不足以完全拟合新数据时,可以冻结大部分前层网络,只对最后几层进行训练调参(fine tune)。
题目纠错
