在追究刑事责任后，依法作出的行政处罚决定不应该撤销。刑事责任和行政责任是不同的责任，二者并不冲突；并且刑事处罚中的拘役、有期徒刑可以依法和行政拘留的期限相折抵，而罚金可以与罚款相折抵。追究刑事责任后行政处罚该不该撤销的法律依据
《中华人民共和国行政处罚法》第三十五条违法行为构成犯罪，人民法院判处拘役或者有期徒刑时，行政机关已经给予当事人行政拘留的，应当依法折抵相应刑期。违法行为构成犯罪，人民法院判处罚金时，行政机关已经给予当事人罚款的，应当折抵相应罚金；行政机关尚未给予当事人罚款的，不再给予罚款。第三十六条违法行为在二年内未被发现的，不再给予行政处罚；涉及公民生命健康安全、金融安全且有危害后果的，上述期限延长至五年。法律另有规定的除外。前款规定的期限，从违法行为发生之日起计算；违法行为有连续或者继续状态的，从行为终了之日起计算。