In der zweiten Hälfte des 15. Jahrhunderts wurden die Verteidigungsanlagen von Hulst umfassend verstärkt. Es wurden Torgebäude errichtet, und der Erdwall wurde (teilweise?) durch eine Steinmauer ersetzt. Nach dem Beginn des Aufstands (gegen Spanien) wurden die Festungsanlagen im Auftrag der spanischen Herrscher verbessert. Im September 1591 gelang es Prinz Moritz, im Kampf gegen die Spanier die Stadt Hulst zu erobern. Er ließ vor den Stadtmauern eine Brustwehr aus Erde errichten. Hinzu kamen eine Bastion, ein Hornwerk und in den Festungsgräben mehrere Ravelins. 1596 fiel die Stadt nach sechswöchiger Belagerung erneut in die Hände der Spanier. Während des Zwölfjährigen Waffenstillstands (1609–1521) wurde die Festung gemäß dem altniederländischen System erheblich ausgebaut. Nach verschiedenen gescheiterten Versuchen gelang es Prinz Friedrich Heinrich im Jahr 1645 nach einmonatiger Belagerung, Hulst zurückzuerobern. Anschließend wurden erneut Verstärkungen angebracht. Der Besitz der Stadt war notwendig, um das linke Schelde-Ufer kontrollieren zu können, denn von hier aus konnten dreißig Festungen bemannt werden.
Um 1700, kurz vor dem Spanischen Erbfolgekrieg, ließ der berühmte Festungsbauer Menno van Coehoorn das Bauwerk erneut verbessern. Die Ravelins wurden geändert, es wurden Außenwerke errichtet, die die Annäherung an die Festung erschwerten, und auf der Ostseite wurde ein neues Tor gebaut. Während des Österreichischen Erbfolgekriegs befand sich Hulst anderthalb Jahre lang in französischer Hand (1747–1748). Danach wurden noch einige weitere Umbauten und Instandsetzungen vorgenommen.
1918 wollte der Stadtrat die alten Wälle abreißen lassen, aber nach vehementen Protesten sah man von diesem Plan ab. Dadurch blieben die Wälle, Zugangstore und Gräben bis heute außerordentlich gut erhalten. Der 3,5 km lange Spaziergang über die Stadtwälle ist unbedingt zu empfehlen! Im Regionalmuseum „De Vier Ambachten“ wird alles Wissenswerte über die Geschichte von Hulst und Umgebung präsentiert.
