银行业金融机构办理假币收缴业务时应当向被收缴人开具假币收缴凭证。

**解析：** 根据《中国人民银行假币收缴、鉴定管理办法》的相关规定，银行业金融机构在办理业务时发现假币，由该金融机构两名以上业务人员当面予以收缴。对假人民币纸币，应当面加盖“假币”字样的戳记；对假外币纸币及各种假硬币，应当面以统一格式的专用袋加封，封口处加盖“假币”字样戳记，并在专用袋上标明币种、券别、面额、张（枚）数、冠字号码、收缴人、复核人名章等细项。**同时，应当向被收缴人出具中国人民银行统一印制的《假币收缴凭证》**。 这一规定旨在规范假币收缴程序，保障被收缴人的合法权益，确保收缴过程公开、透明且有据可查。因此，题干表述正确。