Il palazzo probabilmente fu costruito dai Tadiccioni che abitavano in quella zona fin dal XIII secolo e possedevano la torre dei Tadiccioni, detta del Travaglio.
Nel 1439 fu acquistato da Andrea di Stefano, un ricco merciaio venuto dal contado, insieme alla torre. In seguito la proprietà passò al Monastero di Fregionaia e poi all’Ospedale della Misericordia.
Il palazzo presenta ancora le forme tipiche dell’architettura medievale lucchese: i muri in laterizio, le arcate a piano terra per le attività economiche, le aperture a trifore rette da colonnine del piano nobile.
