No extremo do Promontório do Sítio, que cai a pique sobre o mar, mandou D. Sebastião construir, em 1577, a Fortaleza de S. Miguel, destinada a defender a enseada dos ataques dos piratas argelinos, marroquinos e normandos.
Filipe II, cerca de 1600, mandou reconstruir a primeira fortaleza de acordo com a planta do arquiteto florentino João Vicente Casale.
Após a restauração da monarquia, D. João IV ordenou a sua remodelação e ampliação, dando-lhe o traçado que ainda hoje conserva.
É um notável monumento militar maneirista, característico da defesa da costa, com planta longitudinal irregular adaptada ao promontório sobre o qual assenta. Possui um baluarte em cada ângulo, grossas muralhas diversas vezes restauradas, com contrafortes, ameias e frestas, dispondo de uma original Praça de Armas no 2º piso. Por cima da porta de entrada, sob um lintel, uma imagem em baixo-relevo de S. Miguel Arcanjo e a legenda “El-Rey Dom Joam o Quarto – 1644”.
Durante a 1ª Invasão Francesa (Junot – 1807/1808), esteve ocupado por soldados de Napoleão I, que a população do Sítio e da Pederneira ajudou a expulsar, tornando-se assim num símbolo da resistência popular.
Desde 1903 está aqui instalado um Farol de auxílio à navegação que, atualmente, tem um alcance luminoso de 15 milhas, sendo completado por um sinal sonoro de aviso em dias de nevoeiro intenso.
