Während des Dreißigjährigen Krieges verschanzten sich schwedische Truppen im Gebäude und wurden von kaiserlichen Soldaten erfolglos belagert. Seitdem trägt das Gebäude den Namen »Kaisertrutz«. In späteren Jahrhunderten erfüllte es verschiedene andere Aufgaben, z. B. als Standort der Görlitzer Stadtwache. Seit 1932 ist der Kaisertrutz ein Ausstellungsgebäude der Görlitzer Sammlungen. Mit seinen fünf Geschossen bietet er eine Gesamtausstellungsfläche von rund 2.500 Quadratmetern. Davon werden drei Geschosse für die stadt- und regionalgeschichtlichen Dauerausstellungen sowie ein Geschoss für die »Galerie der Moderne« genutzt. Ein weiteres Geschoss dient als Sonderausstellungsraum.
Eiszeit bis ins frühe Görlitz Mittelalter bis Biedermeier Industrialisierung bis 1990 Galerie der Moderne