El santuario de nuestra señora del castañar es un edificio religioso más, pero si, como se dice, este monte de castañares umbríos es el pulmón de Béjar, el Santuario es el corazón, no sólo de la ciudad sino también de su comarca; es el centro espiritual de la región en una palabra, a poco más de dos kilómetros del casco urbano.
La capilla mayor está dotada de una bóveda esférica, apoyada en impostas que, a su vez descansan sobre cuatro arcos torales, que forman en sus ángulos sendas pechinas. Dio impulso importante a las obras el sacerdote bejarano don Francisco Rodríguez Viga, con cuyo empuje las obras culminaron en 1720 con la fachada de poniente, de sillería regular, sobre cuyo frontis campea el escudo del obispo placentino don Francisco Pere y Porras. Las obras del camarín de la Virgen se concluyeron en 1730. El primitivo retablo fue cedido a la iglesia de Navalmoral de Béjar y fue sustituido por el actual, hermoso y muy bello, debido a la gubia del habilísimo escultor bejarano Lucas Barragán y Ortega. Las pinturas de la bóveda, pechinas y frente del arco las hizo Ventura Lirios, pintor de cámara de los duques. La de la bóveda representa la Asunción de la Virgen; las de las pechinas, pasajes de la vida de Nuestra Señora, y la del arco, su Coronación.
Se produjo años después del hundimiento de parte de la bóveda y las pinturas quedaron seriamente dañadas, por lo que fueron restauradas por los hermanos Álvarez Dumont que, a la vez, decoraron el camarín y pintaron las ocho bellísimas mujeres de la Biblia dignas de contemplarse. Bajo el camarín se encuentra la cripta, lugar de culto diario en el invierno, que se supone ocupa el lugar preciso en que se levantaba la modesta ermita primitiva.
El convento, a la derecha del templo, ha sido restaurado en su totalidad en estos últimos años, respetándose la fachada principal a la que se ha sido añadida una planta. El edificio destinado a seminario, a la derecha del convento, fue levantado también en fecha reciente y ocupa el lugar de la casa del guardián donde también estuvo una sencilla y antigua espadaña. Al nuevo edificio se le dotó de torre y campaniles, con un airoso chapitel.
La nave del templo es única y la cabecera rectangular, de la cual sobresale el absidiolo que acoge e su interior al camarín y la cripta. La fachada del mediodía tiene, en sus principios, adosada la sacristía desde la que se accede al camarín. En su conjunto, es un bello y noble templo, a la par que sencillo. Merece prestar atención al herraje del balconcillo del camarín.
En el atrio, también llamado Plaza de los Tilos, hay un crucero antiguo, siendo posterior la imagen del Crucificado de la columna central, obra del escultor bejarano Eloy Hernández.
A partir de 1946 son custodios de la Virgen los padres Teatinos, como, con anterioridad lo fueron los franciscanos. Cuentan con una escolanía que solemniza las fiestas. A la derecha del convento, levantaron, como queda dicho, un hermoso edificio para destinarlo a seminario de la orden. Hoy por hoy, este centro está inactivo por lo que el inmueble podrá ser destinado a otros fines: retiros, convenciones, hospedería...
Todos los 8 de septiembre de cada año se celebra la tradicional fiesta de la virgen del castañar, desplazando a la virgen desde el santuario hasta el mirador de la virgen situado en la subida a este monte, desde donde la virgen bendice las tierras de Béjar.