应该部分退还当初办理公积金贷款的保证金。具体的计算办法大体是:应退保证金数=原保证金*贷款剩余月数(提前还清贷款次月到按合同还清当月的月份数)/总贷款月数,有些地方还要再打个9折。可以向公积金管理中心咨询。