特种作业人员是指所有从事特种作业的从业人员。

解析：

首先，我们要明确题目中的关键概念：“特种作业人员”。特种作业人员并不是指所有从事特种作业的从业人员，而是有特定范围和要求的。

特种作业：通常指的是那些容易发生人员伤亡事故，对操作者本人、他人的生命健康及周围设施的安全可能造成重大危害的作业。这些作业具有较大的危险性，需要特定的技能和安全知识。

特种作业人员：则是指直接从事特种作业的人员，他们必须经过专门的安全作业培训，并取得相应资格，才能上岗作业。这些人员并不是简单地“从事特种作业的从业人员”，而是有严格资质要求的。

现在我们来分析选项：
A. 正确 - 这个选项认为所有从事特种作业的从业人员都是特种作业人员，但如前所述，特种作业人员有特定的资格要求，不是所有从事这类作业的人都是特种作业人员。

B. 错误 - 这个选项否认了“所有从事特种作业的从业人员都是特种作业人员”的观点，与我们对特种作业人员的定义相符。

因此，正确答案是B。因为特种作业人员并非指所有从事特种作业的从业人员，而是指那些经过专门培训并取得相应资格的人员。