Il palazzo non è che la parziale realizzazione, peraltro assai offesa dal tempo, del progetto ben più ambizioso di Domenico Antonio Vaccaro, a noi noto attraverso una stampa datata 1737.

Già dal Seicento le fonti parlano di un edificio appartenente agli Spinelli di Tarsia sito in quel luogo; dunque il Vaccaro ebbe l'incarico dal principe Ferdinando Vincenzo, uomo di lettere e mecenate, di ristrutturare ed ingrandire un edificio già esistente, riconoscibile nella struttura del corpo di fabbrica principale.

Da questo edificio a tre piani partiva un ampio emiciclo terrazzato e maiolicato, decorato da statue in marmo visibili fino a pochi anni fa, delimitante un cortile sul quale si aprivano tre archi.

Attraverso queste aperture si accedeva ai viali che conducevano a dei terrazzamenti sistemati con giardini e fontane, incorniciati da altri edifici, dalla pianta graziosamente rocaille, entro i quali avrebbe trovato posto addirittura un serraglio.

Per quanto riguarda l'interno dell'edificio principale, che oltre alle camere private e ai numerosi saloni prevedeva una Biblioteca, un gabinetto di fisica e chimica e più di una galleria per ospitare la ricca pinacoteca della famiglia, sarà meglio riportare le parole dello stesso Vaccaro che, prigioniero di un sogno irrealizzabile, non vide mai il compimento della sua idea:
"Nell'interno ho avuto gran parte nello scolpire le statue e nel dipingere le dorate volte... Ma chi mai senza vederle potrà figurarsi quel che elle sono...
La nobile dorata scala di fini marmi, di busti, di pitture adornata.
Chi dei due... grandi appartamenti, oltre a tanti mobili si potrà immaginare, e le grandiose sale e il lungo ordine di camere e gabinetti tutti dipinti e risplendenti d'oro e le vaghissime cappelle tutte in oro, arricchite di preziosi marmi con adornamenti di metalli indorati e lapislazzuli.
Le grandi e meravigliose gallerie di quadri, opere dei più rinomati antichi pittori.
Le statue e gli apparati d'oro e ricamati e tessuti e di velluti purpurei con capricciosi indrecci di gran galloni e france d'oro, li preziosi e variati marmi di cui e le statue e le porte sono composte".

(Paola Fardella)