Tra il 1840 e il 1842 Nicola Agrusti, agiato agricoltore proprietario di tre masserie in territorio di Noci, fece realizzare un sontuoso palazzo sul sito della sua antica casa nel rione San Damiano, prossima alla Chiesa de Santi Medici, reclutando i sapienti scalpellini Orazio e Tommaso Curri.

I tre figli Antonio, Costantino e Vito Agrusti furono importanti personalità del periodo risorgimentale: Antonio (1812 – 1880), sacerdote, patriota, dopo il 1848 subì il carcere a Trani; Costantino (1812 – 1883), dopo l’unità d’Italia, fu capitano della Guardia Nazionale e contribuì fino al 1863 alla repressione del brigantaggio; Vito (1823 – 1906), pure sacerdote, dopo il 1848 fu inviato al confino a Trani. Nel 1965 Vito Agrusti fonda ad Alberobello, oggi con accesso da via Cavour, la prima azienda vinicola denominata Almavilla che il nipote Angelo converte nel 1881 in uno stabilimento industriale che, per importanza e grandezza, fu tra i primi della provincia. Nicola Agrusti, figlio di Angelo, fu il primo ingegnere dell’Ordine della Provincia di Bari, celibe, fu l’ultimo possessore del palazzo, così come dello stabilimento. Con lui si estinse la casata degli Agrusti.

Palazzo Agrusti è uno dei primi edifici di gusto neoclassico che attesta l’abolizione delle prescrizioni imposte dal conte di Conversano di edificare case a trullo a secco e senza finestre: è composto da nove stanze al piano terreno, altrettante al primo piano e cinque con la loggia scoperta al secondo piano.

Nel 1856 Antonio Agrusti, figlio di Nicola, fece decorare dal noto pittore Luigi Fabron il soffitto della grande sala, raffigurando in distinti riquadri un panorama della città con l’iscrizione Alberobello 1880 e le tre masserie che fecero la fortuna della famiglia.

Il pittore Salvatore Cozzolino decorò la volta di una stanza da letto con soggetti e paesaggi romantici.

Nelle immediate vicinanze di Palazzo Agrusti fu collocato nel 1933 il monumento dedicato all’insigne storico locale Domenico Morea, in occasione del centenario della nascita.