La fisonomía de Baños de la Encina está marcada por la presencia de su imponente fortaleza califal, construida en un espolón rocoso que domina el río Guarromán. Su planta sigue el contorno de la peña, estrechándose en los extremos.
Está construido en tapial. Éste es una mezcla de arcilla, arena, cal y piedras de pequeño tamaño, que se coloca por capas, de forma similar al encofrado actual de cemento, mediante “cajones” de madera, un molde de medidas fijas en cuyo interior se vierte la mezcla, que se solidifica por la evaporación del agua y al fraguar la cal. Se considera un procedimiento de construcción muy rápido y barato, por lo que se ha contrapuesto a obras cuidadas hechas con mampostería o sillares. No obstante, su empleo se justifica por la extraordinaria resistencia y dureza que puede alcanzar, y que depende de la proporción en que los diversos materiales entran en la mezcla. Los muros de Baños tienen un total de 11 cajones, de unos 75 u 80 centímetros de altura cada uno.
El castillo está dotado de catorce torres de tendencia cuadrada, que en su origen pudieron ser quince, si la última fue sustituida en el siglo XV por la gran torre del homenaje hoy existente. Las torres apenas rebasan la altura de la muralla, estaban huecas y conservan las huellas de los mechinales que indican que tenían tres plantas, cada una con una aspillera, enfiladas alternativamente a los lados norte y sur. Algunas tenían una cuarta planta sin aberturas al exterior.
En el patio hay un gran aljibe dividido en dos naves, separadas por pilares, y cubierto con una bóveda de medio punto.
Gracias a una inscripción, conservada hoy en el Museo Arqueológico Nacional, y de la que hay copia y traducción en las jambas de la puerta del castillo, sabemos que ordenó construirlo el califa al-Hakam y que se concluyó en el año 968. Junto con otros castillos también construidos por estos años, como los de Tarifa (Cádiz), el Vacar (Córdoba) o Zorita (Guadalajara), estaría destinado al acantonamiento de las tropas bereberes alistadas para las campañas anuales contra los cristianos, cuyo lugar de concentración final, ya en la frontera, sería la fortaleza de Gormaz (Soria).
Tras la conquista cristiana la parte oriental de la fortaleza fue convertida en un alcázar, mediante la creación de una muralla interior, compuesta por un poderoso torreón circular, del que hoy sólo se conserva la base, y dos lienzos que unían éste con los muros laterales, de los que hoy sólo queda parte de uno de ellos. El segundo muro debió ser eliminado y en la zona donde encajaba se encuentra una escalera. No obstante, en la muralla interior no se aprecia roza alguna, quizá porque simplemente se adosó. A este alcázar debió pertenecer también la gran torre del homenaje.
Ésta última se eleva considerablemente sobre el resto del conjunto. El frente exterior está redondeado, lo que indica que se construyó cuando ya la artillería había empezado a desarrollarse de forma importante. La parte inferior es maciza, presentando una cámara a la altura del adarve del castillo islámico, a la que se llega mediante una escalera exterior. De esta cámara parte una escalera que conduce a la terraza.
La torre no mira al frente, hacia la campiña, sino que está orientada hacia la población, proyectándose por encima de ella, lo que indica que se trata de una construcción señorial, cuyo fin no era resistir a un hipotético enemigo exterior, sino el amedrentamiento y control de la población campesina del lugar.
El Castillo de Burgalimar fue declarado en 1931 Bien de Interés Cultural.
