要看情况，如果工厂搬迁到异地（外省，外市）需要赔偿。因为这属于合同变更，工厂的责任。

员工不愿随厂搬迁，其权益受到侵害，用人单位应该支付经济补偿金。工厂搬迁属变更劳动合同范畴，《劳动合同书》中的工作地点变更了，所以要对员工按实际工作年限支付经济补偿金。

如果在市内，市内变更工作地点不属于合同变更的范畴，所以其提出要求经济补偿金的诉求没有法理依据。但应该考虑到工厂突然搬迁后，也给这部分员工的生活带来一定的影响，员工又面临着重新找工作的问题，应当考虑其为工厂服务多年的因素，作为一个有社会责任的企业能否法外给这部分员工予以一定的经济补助。

总之，不赔偿的话，不管从法理或道义来讲，都是行不通的。