专责监护人临时离开时，应通知( )停止工作或离开工作现场，待专责监护人回来后方可恢复工作。

选项解析：

A. 工作班成员：工作班成员是在工作负责人领导下的工作人员，他们可能不具备监护职责，不是最适合通知停止工作的人员。

B. 作业人员：作业人员通常是指直接进行作业的操作人员，他们需要专注于手头的工作，不适合承担通知停工的责任。

C. 小组负责人：小组负责人虽然在管理层级上高于作业人员，但专责监护人临时离开时，通知停止工作应当直接针对被监护的人员，而非小组负责人。

D. 被监护人员：被监护人员是指那些因为工作性质、环境或个人能力限制，需要专门人员进行监护的工作者。当专责监护人临时离开时，直接通知被监护人员停止工作或离开工作现场，是确保工作安全、防止事故发生的最直接、最有效的方法。

答案选择D的理由： 专责监护人离开时，其监护职责无法得到履行，此时最需要保障的是被监护人员的安全。因此，应当通知被监护人员停止工作或离开工作现场，以防止在缺乏监护的情况下发生安全事故。待专责监护人回来后，才能确保监护措施到位，工作可以安全恢复。因此，正确答案是D、被监护人员。