Das Architekturmuseum wurde 1868 als Lehrsammlung für die Architekturausbildung an der Neuen Polytechnischen Schule, der Vorgängerin der heutigen Technischen Universität München, eingerichtet. Als Friedrich von Thiersch 1912 einen Neubau für die Hochschule an der Gabelsberger Straße errichtete, erhielt die Architektursammlung darin eine repräsentative Raumflucht und bildete das Zentrum der Architekturfakultät.

Aufgrund von Veränderungen in der Architektenausbildung verschwand die historische Vorbildsammlung in den zwanziger und dreißiger Jahren zunehmend aus dem Lehrbereich: die Zeichnungen und Vorlagenwerke wurden durch Lichtbilder und Glasnegative abgelöst und der Entwurf konzentrierte sich mehr und mehr auf Konstruktion und Bautechnik. Die Sammlung verwandelte sich allmählich in ein Architekturarchiv und wurde als wissenschaftliche Forschungsstätte genutzt. Eine rechtzeitige Auslagerung bewahrte die Bestände der Architektursammlung im 2. Weltkrieg vor der Vernichtung. Nachdem die prunkvollen Sammlungsräume im Krieg aber völlig zerstört worden waren,  verschwanden die geretteten Archivalien in den Depots der Hochschule.

Seit 1975 wurde die wissenschaftliche Spezialsammlung systematisch in ein Archiv mit Museumsfunktionen umgewandelt und in den folgenden Jahren durch eine intensive Ausstellungstätigkeit (vor allem im Münchner Stadtmuseum) einer breiteren Öffentlichkeit zugänglich gemacht. Durch Winfried Nerdinger, der 1986 den Ruf auf eine Professur für Architekturgeschichte an der TUM erhielt, und zwei Jahre später zum ersten Direktor des „Architekturmuseum der TU München“ ernannt wurde, erlangte das Architekturmuseum durch zahlreiche Ausstellungen und Publikationen internationale Beachtung. Zusätzliche Aufmerksamkeit erhielt das Architekturmuseum ab September 2002 durch die Eröffnung eigener Präsentationsräume in der Pinakothek der Moderne.

Nach Emeritierung Winfried Nerdingers im Oktober 2012, folgte Andres Lepik dem Ruf auf die Professur für Architekturgeschichte und Kuratorische Praxis an der TUM und ist seitdem neuer Direktor des Architekturmuseums.