Het staat op de plek waar vroeger de oude kapel stond die dateert uit het jaar 1525 en gewijd was aan de Maagd van de Eenzaamheid, volgens aantekeningen van het provinciale kadaster van Cádiz. De bouw werd opgedragen door de landgoedeigenaar om een beeld van de Eenzaamheid te vereren, dat zich bevond in het gebied met dezelfde naam.