根據《個人所得稅法》第十七條規定,對扣繳義務人按照所扣繳的稅款,付給百分之二的手續費;根據《個人所得稅扣繳申報管理辦法(試行)》第十七條規定,對扣繳義務人按照規定扣繳的稅款,按年付給百分之二的手續費。不包括稅務機關、司法機關等查補或者責令補扣的稅款。因此,返還手續費計算依據僅限按規定扣繳的稅款,不包括滯納金和罰款。