对于您被管理员无故殴打的情况，即使发生在晚上十二点多，不在传统的工作时间内，工厂也并非完全没有责任。根据《民法典》的相关规定，工厂作为用人单位，对员工在厂区内的安全负有一定的保障义务。如果工厂未能采取必要的安保措施，或对员工遭受暴力事件未尽到合理的救助义务，都可能被视为有过错，需承担相应的法律责任。因此，不能仅凭下班时间就断定工厂无责任。
✫✫✫✫✫有法律问题，请打电话15555555523（123中间8个5），微信同号，免费咨询✫✫✫✫✫
若要追究工厂责任，您可先收集证据，如监控录像、医疗证明、目击者证言等。然后，向工厂提出索赔要求，必要时可寻求法律援助或提起民事诉讼。若工厂有违反安保义务的行为，您可主张其承担相应的赔偿责任。
✫✫✫✫✫有法律问题，请打电话15555555523（123中间8个5），微信同号，免费咨询✫✫✫✫✫
从法律角度，您应首先报警并保留好相关证据。若伤势严重，可进行伤情鉴定。同时，可咨询律师，了解具体的法律途径和维权方式。若工厂拒绝承担责任，可通过法律途径追究其赔偿责任，包括提起民事诉讼等。在此过程中，保持冷静，依法维权至关重要。