Το Πολεμικό Μουσείο βρίσκεται σε ένα από τα κεντρικότερα σημεία της Αθήνας, στη διασταύρωση των οδών Βασιλίσσης Σοφίας και Ριζάρη. Η ευρύτερη περιοχή της τοποθεσίας του είχε επιλεγεί από το 1959 για να αποτελέσει το λεγόμενο «Πνευματικό Κέντρο των Αθηνών», μία μεγάλη δημόσια έκταση, στην οποία θα δημιουργούνταν ένας πυρήνας πολιτιστικών δραστηριοτήτων, που θα περιλάμβανε βιβλιοθήκη, μουσεία, πινακοθήκη, θέατρα, κτήρια συναυλιών, ωδείο, μορφωτικούς οργανισμούς και πολλά άλλα. Το σχέδιο τελικά δεν προχώρησε, όπως είχε αρχικά σχεδιαστεί, λόγω των αντιδράσεων και των πολιτικών εξελίξεων.
Τον Μάρτιο του 1969, πριν ακόμη την ύπαρξη συγκεκριμένου χώρου, ιδρύθηκε το Πολεμικό Μουσείο με το Νομοθετικό Διάταγμα 132/1969. Παράλληλα, αποφασίστηκε ότι το κτήριο του μουσείου θα ανεγειρόταν στον χώρο όπου βρισκόταν ένα παλιό στρατόπεδο πυροβολικού. Τη χρηματοδότηση, τη επίβλεψη και την κατασκευή του κτηρίου ανέλαβε αποκλειστικά το Υπουργείο Εθνικής Άμυνας, το οποίο ανέθεσε το έργο στον γνωστό αρχιτέκτονα και καθηγητή του Εθνικού Μετσόβιου Πολυτεχνείου Θουκυδίδη Βαλεντή.
Ο Βαλεντής σχεδίασε το κτήριο με τις τότε σύγχρονες διεθνείς προδιαγραφές που προβλέπονταν για τα μουσεία και ξεκίνησε την κατασκευή του κτηρίου το 1972. Ο σχεδιασμός του ακολούθησε μοντέρνα πρότυπα αρχιτεκτονικής και στο σχήμα του είναι ξεκάθαρα εμφανής η επιρροή της γερμανικής σχολής του Μπάουχαους. Τα εγκαίνια του Πολεμικού Μουσείου πραγματοποιήθηκαν στις 18 Ιουλίου 1975 από τον τότε Πρόεδρο της Δημοκρατίας Κωνσταντίνο Τσάτσο και τον Υπουργό Εθνικής Άμυνας Ευάγγελο Αβέρωφ.
Τον αρχικό πυρήνα των μουσειακών εκθεμάτων αποτέλεσε ένα μέρος των αντικειμένων της μεγάλης έκθεσης για την Πολεμική Ιστορία των Ελλήνων, που είχε πραγματοποιηθεί στο Ζάππειο το 1968, καθώς και η ανεκτίμητης αξίας συλλογή του Πέτρου Σαρόγλου, η οποία αποτελούνταν από χιλιάδες σπάνια όπλα και εξαρτήματα οπλισμού διαφόρων ιστορικών περιόδων. Τα επόμενα χρόνια ,το Πολεμικό Μουσείο προχώρησε στην αγορά, από ιδιώτες και από διάφορα ιδρύματα πλήθος έργων τέχνης, αρχείων ή κειμηλίων σχετικών με το αντικείμενο των εκθεσιακών του χώρων.
