离婚时女方需要把彩礼钱退给男方，但是前提要符合退还彩礼的条件。司法解释规定，如果男方因婚前给付彩礼导致给付人生活困难，或者是双方办理结婚登记手续但确未共同生活，那么女方在离婚后就需要将彩礼退还给男方，除此之外，女方无需退还给男方彩礼。离婚需要把彩礼钱退给男方吗的法律依据
《最高人民法院关于适用婚姻家庭编的解释（一）》第五条当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：（一）双方未办理结婚登记手续；（二）双方办理结婚登记手续但确未共同生活；（三）婚前给付并导致给付人生活困难。适用前款第二项、第三项的规定，应当以双方离婚为条件。