退赃款的退还部门主要 取决于案件所处的阶段。具体来说：公安机关侦查阶段：应当退还给公安机关。检察院侦查或审查起诉阶段：应当退给检察院。法院审理阶段：应当退给法院。因此，在退赃时，需要根据案件所处的具体阶段选择正确的退还部门。如果案件还在侦查阶段，赃款应交给公安机关；如果案件已经到了起诉阶段，赃款应交