Το Πολεμικό Μουσείο Ρεθύμνου βρίσκεται στον διατηρητέο παραδοσιακό οικισμό του Χρωμοναστηρίου, 11 χιλιόμετρα ΝΑ του Ρεθύμνου, ΒΑ του όρους “Βρύσινας”, σε υψόμετρο 360μ. To Χρωμοναστήρι, παρουσιάζει ιδιαίτερο ιστορικό ενδιαφέρον, καθώς στο όρος του Βρύσινα έχουμε αρχαιολογικά ευρήματα από την μέσο- Μινωική περίοδο (20ος-16ος αι. π.Χ). Παράλληλα αποτέλεσε κομβικό σημείο στα χρόνια της Ενετοκρατίας στην Κρήτη, απόδειξη του οποίου αποτελεί το πλήθος των σωζόμενων από εκείνη την περίοδο διατηρητέων-ιστορικών κτιρίων. Το κτίριο στο οποίο στεγάζεται το Στρατιωτικό Μουσείο, παρουσιάζει ιδιαίτερο ιστορικό και αρχιτεκτονικό ενδιαφέρον, καθώς πρόκειται για Βενετσιάνικη έπαυλη που χρονολογείται από τις αρχές του 17ου αιώνα. Κατασκευάστηκε στα 1610 και αποτέλεσε την θερινή κατοικία ευγενούς Βενετοκρητικής οικογένειας ονόματι «Κλόντιο».
Ο Κλόντιο ήταν εύπορος φοροεισπράκτορας και ανήκε στην άρχουσα κοινωνική τάξη της εποχής , τους “Veneti Nobili” δηλαδή τους «Ενετούς Ευγενείς». Στον υπαίθριο χώρο της έπαυλης, σε περίοπτη θέση θα διακρίνουμε το οικόσημο της οικογένειας «Κλόντιο», όπου στο κέντρο του θα παρατηρήσoυμε τον φτερωτό λέοντα του Αγίου Μάρκου, του προστάτη δηλαδή «της Δημοκρατίας του Αγίου Μάρκου», όπως ήταν και η επίσημη ονομασία των Ενετών. Το ίδιο οικόσημο θα διακρίνουμε αν επισκεφτούμε την αστική κατοικία της οικογένειας “Clodio” στην πόλη του Ρεθύμνου. Αστικές οικίες όπως αυτές ονομαζόταν “Palazzo”.
Συνεχίζοντας με την ιστορία του κτιρίου, μετά την κατάληψη του Ρεθύμνου από τους Οθωμανούς το 1646, Οθωμανός «Αγάς» εγκαθίσταται στο χώρο της έπαυλης και η έπαυλη μετονομάζεται σε «Κονάκι» που στα τούρκικα σημαίνει «Αρχοντικό». Οι απόγονοί του παραμένουν στην έπαυλη μέχρι την επίσημη απόσυρση των Οθωμανικών αρχών από το νησί στα 1898. Το πέρασμα του χρόνου βρίσκει την έπαυλη σε σταδιακή φθορά και το 1985, ο τελευταίος ιδιοκτήτης της έπαυλης, Αλκιβιάδης Κοτζάμπασης, αποφασίζει να δωρίσει το κτίριο στην τοπική κοινότητα Χρωμοναστηρίου. Το 1997 το κτίριο παραχωρείται στο Γενικό Επιτελείο Στρατού με σκοπό να αναστηλωθεί και να γίνει Στρατιωτικό Μουσείο. Αρχηγός του ΓΕΣ ήταν τη συγκεκριμένη περίοδο ο Στρατηγός Μανούσος Παραγιουδάκης, ο οποίος αποτέλεσε τον εμπνευστή και ιδρυτή του Στρ. Μουσείου.
Οι αναστηλωτικές εργασίες από το ΓΕΣ διήρκησαν μέχρι το 2002 και τα εγκαίνια του Στρατ. Μουσείου έγιναν το 2010 από τον ετ Α/ΓΕΕΘΑ Στρατηγό Μανούσο Παραγιουδάκη και τον τότε Αρχηγό του ΓΕΣ Αντιστράτηγο Φραγκούλη Φράγκο. Έκτοτε, ξεκινά επίσημα η λειτουργία του Στρατ. Μουσείου. Αξίζει να σημειωθεί, ότι μέχρι σήμερα, έχουν φιλοξενηθεί πλήθος από εκδηλώσεις που προάγουν το πολιτιστικό επίπεδο της περιοχής, όπως μουσικές συναυλίες, θεατρικά έργα, παρουσιάσεις βιβλίων, διαλέξεις γενικού εκπαιδευτικού ενδιαφέροντος και εκθέσεις ζωγραφικής.