In 1505 gaf de Vlaamse graaf Filips de Schone toestemming tot het stichten van een gesloten stad op de zuidoever van de Braakman. Zo’n 80 jaar later was er op deze plaats waarschijnlijk nog steeds niet veel meer dan een gehuchtje te vinden, maar dat gehuchtje vormde wel de basis van de vesting Philippine.
Toen Alexander Farnese, de latere hertog van Parma, in 1583 Noord-Vlaanderen binnentrok om deze streek voor de Spaanse koning te herwinnen, besloot hij op deze plaats aan de Braakman een schans te bouwen: de schans Sint-Philip. De schans lag op een strategisch gezien belangrijke plaats: aan diep vaarwater (en dus een potentiële landingsplaats voor vijandelijke troepen) en tegenover het net voor zijn neus door de Staatsen veroverde Land van Axel.
Sint-Philip was een kleine, vermoedelijk driehoekige schans met bastions. De bezetting was gering, zodat prins Maurits geen enkele moeite ondervond toen hij hier in 1600 met een immens leger aan wal stapte, op weg naar Duinkerken, om er de kapers weg te jagen wat uitliep in de Slag bij Nieuwpoort. Na die slag verlieten de Staatsen het gebied en vernielden de schans. De Spanjaarden keerden terug en herbouwden de schans tot een vierkant werk met op iedere hoek een bastion.
In 1633 werd de schans definitief veroverd door Staatse troepen onder leiding van Willem, graaf van Nassau. In datzelfde jaar nog ondernamen de Spanjaarden een poging om de schans te heroveren. Door middel van een list wist graaf Willem deze poging te verijdelen. ’s Nachts liet hij vanuit Biervliet enkele schepen met aan boord in totaal 60 tamboers de Braakman oversteken richting Sint-Philip. De tamboers hadden de opdracht daarbij zoveel mogelijk lawaai te maken. Toen de Spanjaarden dit hoorden dachten ze dat er een groot leger op komst was om de belegerden te hulp te schieten en sloegen hals over kop op de vlucht.
De Staatsen bouwden de schans uit tot een ware vesting die als uitvalsbasis diende voor aanvallen op Spaans grondgebied. De nieuwe vesting kreeg de naam Philippine. De oorspronkelijke Spaanse schans bleef gehandhaafd als kern van de vesting en kreeg de naam “Kasteel” of “Hoog-Philippine”. Aan de oost-, west- en zuidzijde kwam een trapeziumvormige uitbouw met twee halve bastions op de noordelijke hoeken en twee hele bastions op de zuidelijke. Het geheel werd omgeven door een gracht met contrescarp. Tussen de zuidelijke bastions kwam een ravelijn in de gracht. Bij het Kasteel was de haven.
In deze tijd kreeg de vesting ook een burgerbevolking.
Waar de beide zeedijken aan weerszijden van de vesting aansloten op de buitenste wallen werden sluizen gebouwd. Via deze sluizen werd tijdens oorlogsdreiging, bij wijze van extra beveiliging het land ten zuiden van de vesting onder water gezet (inundatie).
De sluizen werden bewaakt door extra verdedigingswerken tussen de vesting en de sluizen. In het westen door een flèche en het oosten door een traverse. In dezelfde periode waarin deze werken werden gebouwd (1692-1693) werd er aan de zuidoostzijde een tweede ravelijn in de gracht aangelegd.
Na de Franse bezetting (1747 – 1748) tijdens de Oostenrijkse Successieoorlog werden er verdere verbeteringen aangebracht. Met name de noordoostelijke hoek werd aanzienlijk uitgebouwd. Voor de flèche en traverse werden stenen beren gebouwd. Een stenen beer is een gemetselde dam die de waterkerende functie van een dijk moet overnemen. Over een dijk kan de vijand gemakkelijk een vesting naderen, bij een stenen beer is dat veel moeilijker, zo niet onmogelijk. Een stenen beer heeft altijd een zadeldakvormige bovenkant, een ezelsrug. Hierover kunnen soldaten slechts één voor één, zich schrijlings voorbewegend, naar de andere kant schuiven. Zo zijn ze gemakkelijk te raken door geweervuur.
In 1816 werd de vesting definitief opgeheven, maar tijdens de Belgische Afscheiding (1830) werd zij toch weer opgemaakt. Van de vesting is niet veel meer over. Toch is het grondplan van de vesting vanuit de lucht nog vrij goed herkenbaar. Ook het stratenplan van het centrum is nog oorspronkelijk. Aan de zuid-, zuidoost- en noordwestzijde zijn de resten van wallen en grachten nog te herkennen aan de hoogtes en laagtes in het land. Ook zijn er hier en daar nog waterhoudende restanten van de gracht te vinden. De stenen beer aan de oostzijde (de Oostbeer) is goed bewaard gebleven en is in 2013 gerestaureerd.
