Die Grafen von Pückler-Limpurg erbauten sich in Gaildorf im Jahre 1778 ein stattliches Schloss. Dieses "Neue Schloss" wurde 1868 beim Stadtbrand zum ersten Mal und nach dem Wiederaufbau 1945 bei Kriegsende durch deutschen Beschuss zusammen mit der Stadtkirche endgültig zerstört.
Hingegen beherbergte das Alte Schloss, das die Kriegszeit ohne größere Schäden überstand, in den Nachkriegsjahren Flüchtlinge und ausgebombte Familien aus Gaildorf bzw. Umgebung. Mitte der 50er Jahre war im Wurmbrandsaal eine Textilfirma untergebracht.
Mit Beginn der 70er Jahre begannen die Renovierungen im Alten Schloss. Sie dauern bis heute an. Die Räumlichkeiten werden nun als Vereinsräume, Ausstellungsräume und Wohnungen genutzt. Das Alte Schloss ist Teil des Stadtlebens.