Por lo tanto D. Alfonso Pérez de Guzmán, pensó que la única posibilidad de defensa ante estos ataques, eran la construcción de torres almenaras que vislumbraban a los piratas y avisaban a la población. Así construyo la Torre de Conil, para defender su almadraba.
El 21 de Julio de 1515 penetró en Conil una avanzadilla musulmana que practicamente destruyó la ciudad, llegaron hasta el Castillo y se marcharon antes que la caballería de Vejer les alcanzara.
Los Duques de Medina Sidonia, siguieron la labor de Guzmán el Bueno, construyendo otras torres almenaras como Atalaya, Blanca y Roche. A finales del siglo XVI, y por orden de las Cortes, se elaboró un proyecto de fortificación de la costa de Andalucía, el cuál nunca llegó a realizarse.
De todas formas entre el siglo XVI y el XVII se construyeron más torres: en Punta camarinal, se construyó la Torre de Gracia, lo que hoy es el faro. Entre Trafalgar y Barbate se construyó La Torre de Meca.
La Torre del Tajo, una de las más importante, se construyó a finales del sigo XVI, que es la que correpondía a "Bexel" (hoy Vejer de la frontera); fue costeada a medias entre el Consejo de Vejer y los Duques de Medina Sidonia.
Todas las torres, en general, estaban colocadas en lugares estratégicos desde donde dominaban una buena porción de costa.
La mayoría estaban artilladas para ahuyentar a los barcos enemigos y para que al mismo tiempo no pudieran acercarse a la costa a proveerse de agua. Pero, su funcionalidad era más preventiva que defensiva y para ello poseían un sistema de alarma, con el cual avisaban a las poblaciones costeras y a las otras torres inmediatas.
Este sistema de comunicación era bastante curioso. Así la Torre de San Sebastián era la primea en hacer un pequeño fuego (con alquitrán ó leña seca), la siguiente en hacer el fuego era la de Torregorda y la de Santi Petri. Y así sucesivamente hasta el Estrecho de Gibraltar, Granada, Murcia, Valencia, Aragón y Cataluña. Estas señales eran reiterativas por la noche. Si alguna atalaya descubría algún barco enemigo, disparaban un cañon y hacía señales inermitentes con las hogueras coincidiendo con el número de navíos.
Otra información complementaria era llevada a cabo por los atalayadores, que ocupaban entre torre y torre una pequeña cabaña, si había algún peligro corrían a la Torre para avisar del peligro.

La Torre almenara del Tajo se encuentra al borde de un acantilado de cien metros de altitud llamado del Tajo, que le da nombre y que en el siglo XVIII se conocía con el nombre de la Tembladera.
Se ofrece como una construcción con forma cónica de 13,5 metros desde el baquetón de medio bocel al plinto. A la altura de baquetón presenta los canecillos a doble bocel escalonado, que sustentaron la ladronera, hoy desaparecida, y que dominaba el acceso de entrada a la almenara.
Hoy en día presenta pequeños mechinales con restos de trozos de vigas de madera cortados al ras de la pared encalichada. Pero esto restos, como la mano de cal que tiene dada la pared de la estancia circular, parece que son muy recientes. La estancia se cubre con una bóveda semiesférica.

Saliendo del zaguán a la izquierda se encuentra la escalera, con peldaños monolíticos. De subida helicoidal está en muy mal estado en su tramo final, poseyendo un tragaluz a media altura, única ventana de la torre; por ella se accede al terrado, en el centro del cuál se abre un orificio circular que comunica con la cámara.
Actualmente se encuentra en muy mal estado, pues aparte de la caída del tramo final de escalera, se ha desprendido la garita en la parte este y caido un trozo de parapeto junto a la ventana.