A pesar de que la historia de la villa se remonta a la era prehistórica, tal y como lo corroboran muchas de las pinturas rupestres halladas que proceden de la Edad de Bronce, el pasado más glorioso de Castellar de la Frontera es la época medieval. Durante este periodo el lugar fue una fortaleza defensiva con un papel muy importante durante las guerras que mantuvieron árabes y cristianos. Su posición estratégica fue motivo de numerosos intentos de conquista por parte de diferentes pueblos a lo largo de los siglos.
Castellar de la Frontera estuvo bajo el control de Fernando III, después bajo el de los árabes, y hacia 1400 bajo el de Juan de Saavedra. Hasta 1650 se sucedieron otras batallas motivadas por intereses territoriales. En ese mismo año la villa pasó a manos de la condesa de Castellar, Teresa María Arias de Saavedra, y posteriormente perteneció a la familia Medinaceli, hasta que el grupo Rumasa la adquirió en los años 70.
