Nel luogo in cui oggi sorge il Santuario, verso la fine del XI secolo esisteva già una cappellina dedicata a Santa Maria della Pietà e dell’Olmo. La località, chiamata Panicocolo, all’epoca si presentava ancora nella sua natura selvatica e boschiva. I pastori dei casali delle colline circostanti scendevano qui, a valle, per il pascolo del bestiame. La cappellina si situava proprio all’incrocio di un importante snodo viario, la via Nocerina che, attraversando l’attuale corso, da Napoli portava a Salerno.