1806.KD中"暗知识"指的是什么?

题干解析：本题考查的是对知识蒸馏（Knowledge Distillation, KD）过程中“暗知识”（Dark Knowledge）概念的理解。 正确答案：C 选项分析： A：复杂知识 该选项表述模糊。“复杂知识”并非知识蒸馏中的专业术语，也不能准确描述“暗知识”的本质。在KD中，“暗知识”并不是指知识本身的复杂性，而是指模型输出中蕴含的、未被硬标签直接表达的信息。因此该选项错误。 B：黑匣子知识 “黑匣子知识”通常用于描述深度学习模型内部机制不透明的特性，强调的是模型可解释性的缺失，而非知识蒸馏中教师模型传递给学生模型的特定信息。此概念与“暗知识”无关，故该选项错误。 C：学生模型学习不到的细微知识 这是正确答案。在知识蒸馏中，“暗知识”指的是教师模型在软标签（soft labels）中输出的类别概率分布所包含的丰富信息。例如，对于一张猫的图像，教师模型可能输出“猫：0.7，狗：0.2，狐狸：0.1”，其中狗的概率高于狐狸，说明狗与猫在特征空间中更相似。这种类间关系信息即为“暗知识”，它不是由真实标签直接提供的，但对学生模型的学习具有指导意义。这些知识较为细微，仅通过硬标签（如“猫”）或少量数据难以让学生模型学到，而通过教师模型的软化输出可以有效传递。 D：教师模型的全部知识 该说法过于宽泛且不准确。学生模型无法完全复制教师模型的所有参数和行为，知识蒸馏的目标是迁移教师模型的部分有用知识，尤其是软标签中的概率分布信息，而不是全部知识。因此该选项错误。 核心知识点讲解： “暗知识”是知识蒸馏理论中的关键概念，由Geoffrey Hinton等人提出。其核心思想是：除了正确的类别标签（硬目标），模型输出的其他类别概率（软目标）也包含有价值的信息，反映了类别之间的相对关系。这些信息被称为“暗知识”，因为它们不显式存在于标注数据中，却能帮助学生模型更好地泛化。 通过引入温度参数T来软化教师模型的输出分布，使得小概率事件的信息也被保留，从而让学生模型能够学习到更丰富的模式。这种方法显著提升了小模型在有限数据下的性能。 综上所述，选项C准确描述了“暗知识”的本质，即学生模型原本难以学到的、来自教师模型输出中的细微知识。