Il castello è l'edificio che caratterizza l'aspetto della città di Desenzano sia che la si veda comparire provenendo dall'entroterra, sia che la si guardi dal porto o, lontana, dal lago.
Alla fine del Quattrocento il castello, che ebbe origine nell'Alto Medioevo e probabilmente sorse sulle fondamenta di un castrum romano, fu ampliato nella parte sud, ma non divenne mai una fortezza militare, anche se l'ingrandimento fu fatto per ospitare una guarnigione. Continuò ad assolvere soprattutto la funzione di rifugio per la popolazione.

Nell'interno del castello continuarono ad esservi abitazioni di privati cittadini pronti ad accogliere, in caso di pericolo, coloro che abitavano fuori dalle sue mura.
In seguito il castello perse via via la sua funzione di rifugio, continuando ad essere abitato da famiglie, anche se il suo degrado, per quasi tutto l'Ottocento, procedette sempre più grave. Nel castello v'era pure una chiesa, la chiesa di S. Ambrogio, che fu utilizzata come casa privata.
La pianta del castello è quella di un rettangolo irregolare, con la torre che si innalza all'ingresso, sul lato nord, a protezione del ponte levatoio, di cui si conservano le feritoie per le catene. E' una torre massiccia dotata di finestre solo nella parte superiore.

Nel 1882 il castello fu adibito a caserma, prima sede di una guarnigione di fanteria, poi di bersaglieri e infine di alpini dagli anni trenta fino al 1943.
Il vecchio castello, quantunque privo di particolari bellezze architettoniche, a parte la facciata, è dotato di indubbio interesse storico e di fascino scenografico.
Dell'antico castello rimangono alcuni tratti di cortine murarie con merli sgretolati fra le quattro torri angolari mozze, ad eccezione di quella sullo spigolo a nord-est che, fino al 1940, funzionò come specola.
Dalla sua terrazza si gode uno dei più bei panorami del Garda.