In questi luoghi furono trovate tracce di un insediamento preistorico e dei ritrovamenti che attestano anche la presenza di popolazioni romane. Durante le invasioni ungare gli abitanti furono costretti ad abbandonare il villaggio cristiano, sorto in riva al lago e dipendente da Pieve di Desenzano, spingendosi sulle colline dove costruirono il castello. Nel Medioevo il castello divenne una roccaforte ghibellina contesa tra Bresciani e Veronesi. Nel 1330 Padenghe fu conquistato dagli scaligeri, che si contesero il castello tra i vari componenti della famiglia. Alla fine del quattordicesimo secolo i paesi della riviera chiesero e ottennero l’autonomia dai Visconti. Nel 1414 il castello di Drugolo fu affidato a Padenghe da Pandolfo Malatesta. Dopo la pace di Lodi, nel 1454 la Repubblica Veneta tenne all’interno del castello una guarnigione. La gente di Padenghe fu definita "superba", da un poeta maccheronico che soggiornò nel convento di Maguzzano, durante il dominio francese fu salvato il conflitto grazie all’intervento del cardinale D’Amboise che evitò la distruzione del castello che avrebbe portato un pericoloso malcontento nei cuori dei paesani. Padenghe dovette anche subire i saccheggi e le violenze dei soldati imperiali tedeschi provenienti da Verona nel 1532, mentre alla fine del sedicesimo secolo si vide minacciata da spietati banditi tra i quali il famoso Giacomo Dainese detto Giacomazzo da Padenghe.