Il palazzo, fatto costruire da Bernardino Arnolfini, è collocato fra via del Seminario, via del Castellaccio, via del Giardino Botanico e via di Piaggia. La zona nel Cinquecento fu interessata dal piano di lottizzazioni delle aree esterne alle mura medievali a seguito dell’ampliamento della cinta muraria, diventando molto ambita: tra gli assegnatari dei lotti, in cui era stata suddivisa, famiglie altolocate come i Poggi, i Garzoni e gli stessi Arnolfini.
Il palazzo ha il fronte principale su via del Giardino Botanico, il portale è definito lateralmente da semicolonne a bugne e sormontato da timpano spezzato con inserito lo stemma di famiglia; tra il piano terra e il primo piano corre una robusta cornice marcapiano retta da mensoline. Nella parte nord è presente un ampio cortile con porticato.
È probabile che l’attuale architettura sia il risultato di interventi successivi all’impianto originario che forse comprendeva un giardino con muro di recinzione e finestre nel lato nord (dove si trova lo stemma) poi sopraelevato per realizzare un piano abitabile sostenuto da un porticato.
