Quando nel 1651 Camillo Pamphilj, nipote dell’allora pontefice Innocenzo X, acquistò da Francesco Barberini il feudo di Valmontone eleggendolo a propria residenza extraurbana, la sua era senz’altro la famiglia più potente della Roma di quegli anni.
Nel punto più alto del borgo, su delle preesistenze oggi di difficile individuazione, il principe fece realizzare un progetto molto ambizioso: la costruzione di un palazzo di notevoli dimensioni inserito in un complesso urbano provvisto di foresteria, armeria, stalle, granaio, carceri, piazza del mercato e botteghe. Un progetto definito dalle cronache dell’epoca ‘città panfilia’ e che va interpretato come uno degli ultimi riflessi della teoria rinascimentale sulla città ideale
Camillo desiderava creare uno spazio alternativo ai grandi centri, in cui ritirarsi dalle tensioni cittadine e dove gli fosse consentito un contatto diretto con i suoi sudditi. L’esedra del cortile interno suggerisce infatti l’idea di un teatro in cui i rapporti umani e la vita del borgo si svolgono in una dimensione armonica.
Nel 1652 si diede avvio alla quasi totale demolizione dell’antico castello Sforza – già dei Conti di Valmontone – e nel 1654 iniziarono i lavori per il nuovo palazzo ultimati nel 1670 circa.
L’architetto responsabile del progetto originario è il gesuita Benedetto Molli mentre, a partire dal 1666, il cantiere fu affidato ad Antonio Del Grande (1607 ca. – 1679 ca.).
L’impianto architettonico attuale, che in corso d’opera dovette subire delle variazioni rispetto al disegno originario voluto da Camillo, sembra corrispondere ad una soluzione di compromesso che sintetizza le caratteristiche tipologiche del palazzo nobiliare, del casino di campagna e della fortezza. Il volume chiuso e compatto dell’edificio, collocato nel punto più alto del borgo, fa pensare ad una posizione strategica funzionale all’avvistamento che la fabbrica pamphiliana dovette certamente ereditare dall’antico castello medievale. Il prospetto esterno presenta un massiccio basamento a bugnato con andamento a scarpa e quattro ordini di finestre inquadrate da cornici in tufo.