La ermita de Santo Toribio es testigo, cada año, de una de las tradiciones más singulares de Palencia: la Pedrea del Pan y Quesillo. Cuenta la tradición que en el año 447 Santo Toribio sufrió un apedreamiento por predicar contra la doctrina de Prisciliano y se vio obligado a refugiarse en una cueva ubicada en el mismo lugar en el que hoy se erige la ermita.

Posteriormente, la ciudad sufrió el desbordamiento del río Carrión, causando daños muy importantes y lo consideraron un castigo por apedrear al Santo.

Con motivo de este suceso y a modo de 'Voto de Villa' (ofrenda y promesa), la ciudad de Palencia celebra en el mes de abril la romería de Santo Toribio y el lanzamiento de miles de bolsas con pan y queso rememorando el apedreamiento y en homenaje al Santo.

La fiesta de Santo Toribio que se celebra el domingo más próximo al 16 de abril, está declarada de Interés Turístico Regional.