Como parte de Zahara en 1369, durante el reinado de Alfonso XI, El Gastor estuvo bajo el poder tanto de tropas árabes como cristianas. Posteriormente, en el siglo XIV, el monarca de Cádiz, Rodrigo Ponce de León, mandó construir un centro agrícola y mercantil de modo que la agricultura y la ganadería se convirtieron en importantes actividades económicas de la región.
En 1834 El Gastor fue declarado pueblo independiente de Zahara.
