Das Kriegsmuseum liegt in einem zentralen Stadtteil in Athen, an der Kreuzung der Straßen Vasilissis Sofias und Rizari. Der größere Teil des Geländes, in dem es sich befindet, war seit 1959 für das so genannte “Kulturzentrum von Athen” vorgesehen, ein großer öffentlicher Raum, in dem ein Zentrum für kulturelle Aktivitäten mit einer Bibliothek, Museen, Galerien, Theatern, Konzertgebäuden, einem Konservatorium, Bildungseinrichtungen und vielem mehr gebaut werden sollte. Der Plan wurde schließlich aufgrund der Reaktionen und politischen Entwicklungen nicht wie geplant umgesetzt.
Im März 1969 wurde das Kriegsmuseum durch die Gesetzesverordnung 132/1969 gegründet, noch bevor es einen eigenen Raum gab. Gleichzeitig wurde beschlossen, dass das Museumsgebäude auf dem Gelände eines alten Artillerielagers errichtet werden sollte. Die Finanzierung, Überwachung und Errichtung des Gebäudes wurde ausschließlich vom Verteidigungsministerium übernommen, das den bekannten Architekten und Professor der Nationalen Technischen Universität von Athen, Thukydides Valentis, mit dem Projekt beauftragte.
Valentis entwarf das Gebäude nach den damals modernen internationalen Normen für Museen und begann 1972 mit dem Bau des Gebäudes. Sein Entwurf folgte modernen Architekturnormen und seine Form ist deutlich von der deutschen Bauhaus-Schule beeinflusst. Die Eröffnung des Kriegsmuseums fand am 18. Juli 1975 durch den damaligen Präsidenten der Griechischen Republik, Konstantinos Tsatsos, und den Minister für Nationale Verteidigung, Evangelos Averoff, statt.
Der ursprüngliche Kern des Museums bestand aus einem Teil der Objekte der großen Ausstellung über die Kriegsgeschichte der Griechen, die 1968 in Zappeion stattfand, sowie aus der unschätzbaren Sammlung von Petros Saroglou, die aus Tausenden von seltenen Waffen und Waffenteilen aus verschiedenen historischen Epochen bestand. In den folgenden Jahren erwarb das Kriegsmuseum von Privatpersonen und verschiedenen Institutionen eine Reihe von Kunstwerken, Archiven oder Kostbarkeiten, die mit der Thematik seiner Ausstellungsräume zusammenhängen.
