In dieser Gegend wurden Spuren einer vorgeschichtlichen Siedlung gefunden und einige Fundstücke beweisen, daß auch Römer diese Gegend bewohnt haben. Während der ungarischen Invasionen wurden die Bewohner gezwungen, das christliche Dorf, das am Ufer des Sees entstanden war und das zur Pfarrei von Desenzano gehörte, zu verlassen und sich in die Hügel zurückzuziehen, auf denen sie dann das Schloß erbauten. Im Mittelalter wurde das Schloß zu einer gibellinischen Hochburg, die hart von den Brescianern und Veronesern umkämpft wurde. Im Jahre 1330 wurde Padenghe von den Scaligern erobert und die verschiedenen Zweige der Familie stritten sich um das Schloß. Gegen Ende des vierzehnten Jahrhunderts erbaten und erhielten die Dörfer des Seeufers die Autonomie von den Visconti. 1414 wurde das Schloß Drugolo von Pandolfo Malatesta den Bewohnern von Padenghe anvertraut. Nach dem Frieden von Lodi, hielt die Republik von Venedig 1454 eine Garnison im Schloß. Die Menschen von Padenghe wurden von einem heimischen Dichter, der im Kloster von Maguzzano residierte, als "stolz" bezeichnet. Während der französischen Herrschaft rettete die Fürsprache des Kardinals D’Amboise das Schloß vor der Zerstörung, was zu gefährlichen Stimmungen in den Herzen der Bevölkerung geführt hätte. Padenghe mußte auch die Plünderungen und Gewalttätigkeiten der deutschen kaiserlichen Soldaten erleiden, die 1532 über Verona kamen; gegen Ende des Sechzehnten Jahrhunderts wurde es von gewalttätigen Banditen bedroht, darunter der berüchtigte Giacomo Dainese genannt Giacomazzo da Padenghe.