Im 13. Jahrhundert wurde Kirchheim durch die Herzöge von Teck zur Stadt erhoben und mit einer „muren und graben umb geben“. Die vier Stadttore wurden entsprechend der Hauptverkehrswege angelegt: im Norden das Untere Tor, im Osten das Jesinger Tor, im Süden das Obere Tor und im Westen das Ötlinger Tor. Hundert Jahre später erhielt die Stadt einen doppelten Mauerschutz. Parallel zur Stadtmauer im Abstand von ungefähr 3,5 m entstand die äußere, niedrigere Zwingermauer. Zwischen den beiden Mauern, im Zwinger, wurden die vier Stadttore neu erbaut.
Unter Herzog Ulrich von Württemberg wurde Kirchheim neben Schorndorf und fünf Höhenfestungen, unter anderem Hohenneuffen, zur Landesfestung erklärt und ab 1538 nach damals modernsten militärstrategischen Vorgaben ausgebaut: Ein Erdwall mit tiefem Wassergraben bis zur Zwingermauer wurde mit großem Aufwand errichtet, einige Gebäude – so auch die Kirche des Frauenklosters - wurden deshalb abgerissen. An den fünf Eckpunkten der Ummauerung entstand jeweils ein Rondell, im Südwesten als Substruktion des neuerbauten „Burgschlosses“. Als Militärstützpunkt und herzoglicher Rückzugsort wurde es mit Wassergraben auch zur Innenstadt geschützt. Drei weitere Rondelle befanden sich jeweils an der westlichen, nördlichen und östlichen Längsseite der Ummauerung. Der Kirchturm der Martinskirche wurde aus militärstrategischen Gründen bis auf Mauerhöhe (ungefähr 8,60 m) abgetragen.
Herzog Christoph ließ ab 1556 die Stadt- und Zwingermauer erhöhen, heute noch deutlich sichtbar durch das unterschiedliche Mauerwerk. Am Schloss wurde es zusätzlich verbreitert und überwölbt zu Kasematten. Die Rondelle beim Marstall sowie in der Nordostecke wurden zu Bastionen ausgebaut. 1568 schließlich wurde auch der Kirchturm auf Drängen der Kirchheimer auf 20 m erhöht. Die heutige Höhe von 27,50 m bis zum Umgang am Wächterhaus erhielt der beim Stadtbrand ausgebrannte Turm 1692.
Im Zuge des allgemeinen Modernisierungstrends sowie aus Gründen der Finanzierung und des Feuerschutzes wurde in der ersten Hälfte des 19. Jahrhunderts die Stadtmauer mit den vier Tortürmen abgerissen, 1811 zuerst das Untere Tor. Außerdem wurde der Wassergraben aufgefüllt. Es entstanden unter anderem Plätze wie der Schweinemarkt, der Rossmarkt und auch der Krautmarkt.
Aus Besitzgründen blieben Mauer und Graben an Schloss und Vogthaus aber erhalten. Am Schloss wollte das Königshaus nicht auf die Gartenterrasse bis zur Bastion verzichten. An der Nordostecke war die Bastion mit ihrem Zugang allein über die Mauer eng mit dem Besitz des Vogthauses verbunden. Schon Obervogt Konrad Widerholt hatte als Besitzer des Vogthauses auf der Bastion einen Garten mit Gartenhäuschen eingerichtet, als diese im 17. Jahrhundert militärstrategisch bedeutungslos geworden war. Von diesem Besitzrecht - Vogthaus mit Wandelgang auf der Mauer zum Bastionsgarten - wurde bis 1964 von privaten Personen Gebrauch gemacht; zuletzt über 100 Jahre lang vom Henriettenstift.
1906 wurde der Bach im Wassergraben verdolt. 1957/58 ist der sogenannte „Rollschuhplatz“ durch die Planierung des vormaligen Wassergrabengeländes entstanden. Seit Jahrzehnten befindet sich hier Kirchheims „Kulturmeile“ für Theater, Musik und Feste.