La Casa de Cultura está en la Primera Casa de Oficios, edificio proyectado en 1587 por Juan de Herrera. Junto con la Segunda Casa de Oficios (Santuario de la Virgen de Gracia y Conservatorio) son las dos primeras edificaciones ajenas al Monasterio pero íntimamente ligadas al mismo tanto por su arquitectura como por sus usos originarios.