Pour faire front aux attaques lancées par les Gueux de mer, un début de fortification de la ville d'Axel fut construit en 1574. Des fossés, des remparts et des portes virent le jour. Mais cela n'empêcha pas les Gueux de mer de prendre la ville par la ruse et de la piller.
En 1583, Alexandre Farnèse, qui deviendra duc de Parme, reprit la ville d'Axel pour le roi d'Espagne. Les Espagnols renforcèrent davantage Axel mais leur occupation ne fut que de courte durée. En 1586, sir Philip Sidney et le Prince Maurice conquirent la ville qui resta dès lors aux mains des Staatsen. Les ouvrages de défense comptaient à cette époque une enceinte en terre, des portes, deux bastions et un fossé inondé.
Suite à la menace de la ville d'Hulst devenue espagnole, la ville fut renforcée entre 1600 et 1605. La ville forte fut dotée de huit bastions, un ravelin au nord et deux portes, dont l'une donnait accès au port sur l'Axelsche Gat.
À l'issue de la Guerre de Quatre-Vingts ans, la ville forte tomba en ruine et dut être restaurée à chaque menace de guerre. En 1747, pendant la Guerre de Succession d'Autriche, les troupes françaises érigèrent une digue de l'autre côté de l'Axelsche Kreek. Elles y installèrent une batterie à l'extrémité. Mais avant même d'avoir pu ouvrir le feu sur la ville, celle-ci fut évacuée et capitula. Jusqu'en 1749, la ville fut occupée par les Français.
La ville forte fut abandonnée puis démantelée en 1816. Le profil des remparts et fossés reste relativement reconnaissable à certains endroits de la ville, notamment dans la partie sud de la rue Zeestraat et les environs du « Vurssche ». À mi-chemin de la Zeestraat, du côté est, une partie du fossé est encore visible. Le Molenberg, un vestige du bastion Vlissingen, appelé plus tard Molenbastion, est visible à l'extrémité de la rue Molenstraat.
