Zur Verteidigung gegen die ungarischen Invasionen im X. Jahrhundert entstand das Schloß von Polpenazze, das dann von den Visconti zu Beginn des XV. Jahrhunderts zerstört und im Jahre 1426 von der Gemeinde Polpenazze neu gebaut wurde. Um den Bau der neuen Pfarrkirche zu ermöglichen, wurde der südliche Teil abgerissen und ein Mauerturm wurde in einen Kirchturm umgewandelt. Heute ist nur noch der Eingang des mittelalterlichen Schlosses geblieben.