Anne Hvides gård er Svendborgs ældste verdslige bygning. Den blev opført ca. 1560 af adelsdamen Anne Hvide gift med Jesper Friis af Rødkilde. Hun døde i 1577 og huset var derefter indtil 1769 i mange adeliges ejerskab. Herefter blev den købt af en skipper ved navn Christen Børgesen. Det blev lavet om til gæstgiveri for byens betydende mænd. Efter Christens død førte enken og sønnen foretagendet videre.

Senere var det sønnen og og hans hustruen Dorthea, som førte det videre med endnu større succes. Dorthea blev meget kendt i byen under navnet "madam Børgesen og hun holdt gang i gæstgiveriet i mange år frem indtil hendes død i 1867. over 30 år blev det til. Huset vedblev i slægten Børgesen, men ophørte som gæstgiveri. Broderen, der var ejer, bosatte sig i USA og lejede huset ud som bl.a. skolelokaler. Svendborg bibliotek havde i en periode lokaler her.

Madam Børgesens gravsten på assistens kirkegård

I 1900 blev det dog overtaget af Svendborg kommune og blev brugt til forskellige formål. Fx. var her engang borgmesterkontor.

I 1912 blev det endeligt overdraget til Svendborg amts museum, som gik i gang med en restaurering, hvor man bl.a. fandt Anne Hvides adelsvåben.

Bygningen er desværre ikke hvad den har været. Man ved at den ved Christen Børgesens overtagelse i 1769 bestod af den nuværende museumsbygning, en halvtagsbygning bagved og et to-etagers bindingsværks havehus. Mod syd lå et ni-fags forhus med portindkørsel til gaden og et 12-fags sidehus, alt i to-etager og i bindingsværk.
En del af al dette var allerede nedrevet da kommunen overtog huset i 1900.

Læs mere i Svendborg og omegnsmuseums årbog 1883.

Ud for Museet finder man kunstværket Lyse kilde