Fin dalla preistoria, il colle di San Giusto ospitò un castelliere che, in epoca romana, divenne sede di un importante centro urbano. La rocca, sorta in epoca medievale ad opera dei Veneziani, fu abbattuta nel XIV secolo per volere del patriarca di Aquileia e, soltanto nel 1470, fu riedificata da Federico II d'Asburgo; appartengono a questo periodo la torre quadrata e l'edificio di due piani, oggi sede del Museo Civico del Castello.
