Nel 1630 Francesco di Giovan Francesco Busdraghi acquistò da Antonio Buonvisi l’edificio posto in contrada San Pietro Somaldi, la stessa dove la sua famiglia si era attestata già nel 1340. Ancora oggi il palazzo si contraddistingue per la particolare forma trapezoidale e la complessità interna derivate dalle precedenti strutture medievali sulle quali nel Cinquecento i Buonvisi avevano provveduto ad erigerlo. La facciata principale, su via Busdraghi, presenta il paramento murario interrotto tra il piano terra e il primo piano da una cornice marcapiano e il portale d’ingresso definito da bugne e sormontato dallo stemma di famiglia. A sud si trova il cortile delimitato da un lungo muro con l’ingresso su via Busdraghi e su via Fillungo, dove si apre un bel portale cinquecentesco, sorretto da due colonne laterali poggianti su basi con stemma; il fregio della trabeazione è decorato a rilievi, il portone, in legno a due battenti è scolpito con mascheroni, fogliami e due insegne della famiglia.