“Op de hoek van de Dolhuisstraat en de Boogjes staat thans een complex panden dat, hoewel reeds lang in pakhuizen veranderd, duidelijk het kenmerk van hoge ouderdom draagt. Wanneer men het oppervlakkig bekijkt, schijnt het bouwsel uit de jaren van omstreeks 1670 te zijn. Bij nadere beschouwing echter, ziet men dat de bekroning van de gevel op een heel wat ouder gebouw gezet is. De vooruitstekende steunberen wijzen namelijk op een veel vroegere tijd en het hoofdgebouw zal wel tot de vijftiende eeuw teruggaan. De gebouwen ernaast in het Dolhuisstraatje en erachter dateren eerst van 1778. De geschiedenis van het Dolhuis begint bij die van het Cellebroersklooster. De cellebroers … waren lekebroeders die vrijwillig de verzorging van pestlijders in hun uiterste op zich genomen hadden en voor hun begrafenis zorgden. Zij woonden in cellen of kleine huisjes … en brachten hun tijd door met bidden. … De eerste sporen van de cellebroerders vindt met in Dordrecht in [mrt. 1442], wanneer in het aktenboek gesproken wordt van een huis van cellebroeders in de Nieuwstraat. Of zij daar gewoond hebben, is niet uit te maken. De “huiskens van de zwarte mannekens” in de Vriesestraat, die in het Pandpondenboek van het Heilig Sacramentsgasthuis genoemd worden, zijn de cellebroershuisjes, omdat de cellebroers gekleed waren in zwarte pijen. …

Op 28 maart 1444 geven [de kloosterbroeders van het Regulierenklooster van Eemsteyn] hun huis [tussen de Dolhuis- en Suikerstraat] ter bewoning aan de cellebroeders. … Al spoedig bestond het klooster uit een hoofdgebouw en een kapel, die reeds in 1506 genoemd werd. [Na de omwenteling van 1572 was hun rol, hoewel zij niet afgeschaft werden, toch uitgespeeld.] Reeds in 1580 werd het gesticht toegewezen aan het Heilig Geest- en Pesthuis ter Groter Kerk, dat voor de cellebroers een drietal huisjes op de Vest achter hun gebouw (thans Dordrechts Museum) bouwde en het Cellebroersklooster voor Dolhuis bestemde.

Er werd oudtijds door het stadsbestuur nog al eens vreemde met de gebouwen van liefdadige instellingen omgesprongen. In het begin van de zeventiende eeuw wilde men namelijk het Dolhuis voor een verwerij verkopen en de krankzinnigen naar het Heilig Geesthuis overbrengen. Prompt daarop volgde natuurlijk een luid protest van deze instelling, die klaagde dat zulk een maatregel tot grote schade van de pestlijders zou wezen. Zij deden daarom afstand van het Dolhuis, dat nu weer stadseigendom werd. Dit verklaart ook hoe het mogelijk is dat de Oudraad op 10 maart 1679 kom besluiten om “tot intominge ende tuchtinge van de bedelaars, vagebonden ende andere moetwillige persoonen” een “Tucht- en Werckhuijs” te stichten. Zij bestemde daarvoor het Taenhuis (gebouw om netten te tanen), “staande achter de huysinge daer de krancksinnige menschen werden op gesloten ende bewaert”. Het gasthuis, weeshuis en geesthuis moesten ieder vijftienhonderd gulden bijdragen en zouden dan voortaan van de verpleging van krankzinnigen en onnozelen worden vrijgesteld. Zo zaten dat krankzinnigen en tuchtelingen in één gebouw bijeen. Zware muren en ijzeren tralies moesten het ontvluchten beletten. Jammerlijk was het leven van de krankzinnigen, die meer als misdadigers dan als zieken werden beschouwd. In nauwe cellen, waarin het daglicht slechts spaarzaam binnendrong verbleven zij dag en nacht. De cellen waren met twee deuren gesloten, waarvan de binnenste steeds dicht bleef en van een getralied venster was voorzien. Daardoor schoof men eten en drinken en veel verder ging de bemoeienis met de patiënt bijna niet. In de cel was een krib om op te slapen en een geheim gemak, dat de lucht in de kleine ruimte nog meer bedierf. Er was wel een geneesheer, maar deze had bovendien te zorgen voor het gasthuis, de gevangenis, het weeshuis, het oude mannenhuis en de talrijke andere gestichten. Zodoende kwam er van de verzorging van de krankzinnigen nagenoeg niets. Aan verbetering van hen geestestoestand geloofde men toen nog niet. Het krankzinnighuis stond onder toezicht van regenten; dat waren in hun tijd de burgemeesters tijdens hun ambtsperiode. Zij waren tevens regenten van het leprooshuis, zodat er al spoedig een nauwe ban hiermee bestond. In 1806 werd de instelling verenigd met het in 1760 gestichte krankzinnig- en beterhuis op de Lindegracht, nu Museumstraat, en kwam het oude Dolhuis buiten gebruik.” (C.J.P. Lips, Wandelingen door Oud-Dordrecht (1974), p. 393 e.v.)