解除劳动合同时如果劳动者违反了服务期的约定或者竞业限制的约定，给用人单位造成损失的，需要承担支付违约金的责任；违约金的数额则由双方依法约定。解除劳动合同违约金赔偿的责任的法律依据
《中华人民共和国劳动合同法》第二十二条用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以与该劳动者订立协议，约定服务期。劳动者违反服务期约定的，应当按照约定向用人单位支付违约金。违约金的数额不得超过用人单位提供的培训费用。用人单位要求劳动者支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用。第二十五条除本法第二十二条和第二十三条规定的情形外，用人单位不得与劳动者约定由劳动者承担违约金。