På 1800-talet fanns det ett kallbadhus vid Fiskarhamnen nära Tullhuset. Badhuset tillhörde den gamla prästbostaden. År 1890 bröt en stor brand ut, allt runt Fiskarhamnen brann ner. Det fanns också ett varmbadhus men det klarade sig från branden. Det var bara en lättare renovering som behövde genomföras. Badhuset stod från 1867 till 1952 då det revs.
År 1904 blev man klar med ett nytt kallbadhus som ersättning för det gamla. Det gick inte som man hade tänkt sig och huset revs i slutet av 1920-talet.
Fisket var förstås viktigt för människorna som levde på Dalarö. Utan fiske ingen mat och pengar. Dalarö har två hamnar, Fiskarhamnen och Askfatshamnen. Askfatshamnen anlades 1936 med statliga fiskepremier, men har aldrig använts som fiskehamn. Orsaken var att fiskarna tyckte att hamnen låg för avsides. Dessa hamnar används bara av småbåtsfolket. Fiskarna använde kajen norr om Hotellbryggan.
År 1839 hade Dalarö en ångbåtsförbindelse med Stockholm och ångbåtstrafiken blev med åren allt livligare.
Teckning från 1886 över Fiskarhamnen. I förgrunden till vänster kallbadhuset. Tullhuset till höger. I bildens mitt finns det tornförsedda varmbadhuset. Till vänster om det byggdes på samma plats den ännu kvarstående tullvaktstugan, uppförd 1867, och det gamla lotsvakthuset som ödelades vid branden den 30 sept. 1890. Fartyget på ingående är hjulångaren Jakob Bagge, byggt vid Bergsunds Mekaniska Verkstad 1865