Om het hoofd te kunnen bieden tegen aanvallen van de watergeuzen, werd in 1574 een begin gemaakt met de versterking van de stad Axel. Er kwamen grachten, wallen en poorten. Toch wisten de watergeuzen datzelfde jaar met en list de stad in te nemen en gingen over tot plundering.
In 1583 won Alexander Farnese, de latere hertog van Parma, de stad Axel terug voor de Spaanse koning. De Spanjaarden versterkten Axel verder, maar hun bezetting was echter maar van korte duur. In 1586 veroverde sir Philip Sidney samen met prins Maurits de stad, die sindsdien in Staatse handen bleef. De verdedigingswerken bestonden toen uit een aarden omwalling, poorten, twee bastions en een natte gracht.
Vanwege de dreiging die vanuit het Spaanse Hulst uitging werd de stad tussen 1600 en 1605 verder versterkt. De vesting kreeg acht bastions, een ravelijn aan de noordzijde en twee poorten, waarvan één toegang gaf tot de haven aan het Axelsche Gat.
Na de Tachtigjarige Oorlog raakte de vesting in verval en moest bij elke volgende oorlogsdreiging worden hersteld. In 1747, tijdens de Oostenrijkse Successieoorlog, legden Franse troepen aan de overzijde van de Axelsche Kreek een dam aan. Aan het einde daarvan wierpen zij een batterij op. Maar nog voor zij het vuur op de stad openden werd de stad ontruimd en gaf zich over. Tot 1749 werd de stad door de Fransen bezet.
In 1816 werd de vesting definitief opgeheven en daarna ontmanteld. Op een aantal plaatsen in de stad is het profiel van wallen en grachten nog enigszins herkenbaar, met name in het zuidelijk deel aan de Zeestraat en de omgeving van de "Vurssche". Halverwege de Zeestraat s aan de oostzijde nog een gedeelte van de gracht zichtbaar. Aan het einde van de Molenstraat ligt de Molenberg, een overblijfsel van het bastion Vlissingen, later Molenbastion geheten.
