Da den gamle træbro ’Vesterbro’ blev nedlagt i 1804 og ’plasket’ var blevet opfyldt, var mulighederne for byens udvidelse mod vest blevet åbne. Loven i 1851 ophævede konsumptionsvæsenet, og den gamle bod der lå yderst mod vest, op til den gamle vesterbro blev nedlagt og afhændet. Præstø’s told og konsumptionsvæsen var herefter hjemløse og måtte leje sig ind i lokaler. Toldforvalter A.C. Madsen tog initiativet til at skaffe toldvæsenet nye lokaler og det skulle være på havnepladsen. Der blev lånt tegninger fra Køge og Stubbekøbing og udarbejdet et forslag til Præstø’s toldbygning i to etager, men Ministeriet anbefalede en mindre bygning i en etage. Herefter blev der udfærdiget et arvefæsteskøde på grunden med Præstø kommune som ejer. Teksten er fra bladet ’Glem ikke, 1994-7
Toldkammeret blev i 1855 opført i en etage med en lille fronton over indgangspartiet. Tømrermester O.H. Pries forestod byggeriet, ligesom han har givet tegning til bygningen. På opfordring af Finansministeriet blev tegningen dog rettet af den kgl. Bygningsinspektør P.E.I. Kornerup, og ham skyldtes det, at huset fik sin endelige og smukke form. I øvrigt var Pries ejendommeligt nok også ejer af bygningen, og den var således kun udlejet til toldvæsenet. Først 1897 blev Finansministeriet ejer. 1920 blev huset forhøjet med en etage, for at der kunne indrettes bolig for toldforvalteren.
Den lille bindingsværkbygning, der er sammenbygget med toldkammeret i vest, er det gamle havnematerialhus, opført i 1840’erne og ved Pries’ byggeri flyttet lidt mod vest.
Toldkammerbygningen er en grundmuret bygning i to etager med heltag, hængt med røde vingetegl. Den syv fag lange bygning har over sort sokkel gulmalet, oppudset mur med hvide lisener på hjørnerne og en ligeledes hvid profileret gesims, trukket i puds. Midt for bygningen har den i nord en brunmalet tofløjet fyldningsdør med overvindue. Omkring denne en hvid indramning med konsolbåren dækplade, der samtidig danner en lille balkon for den to-fløjede glasdør i anden etage. De øvrige fag er optaget af klassicistiske vinduer, vandret afdækkede grønmalede karme, rammer hvide. Bygningens sydside har lignende vinduer og i det vestligste fag en indgangsdør.
Bindingsværkstilbygningen i vest, materialhuset, er i fire fag med heltag hængt med røde vingetegl. Murtavl gulmalet, træværk sort med undtagelse af sugfjælden, der er hvid. I husets vestgavl to retiradedøre og en almindelig dør, alle af revletype, grønmalede. Bemærkninger: Pæn bygning, der er af afgørende betydning som det samlende midtpunkt ved havnen. Teksten er fra bogen ’Gamle huse i Præstø’, udgivet i 1979
I 1969 blev Præstø toldsted lukket i forbindelse med toldreformen og lagt ind under Næstved. En æra i Præstø sluttede her og bygningen blev i 1973 overtaget af Præstø kommune der senere solgte den til Præstø sejlklub der igennem flere år udlejede stueetagen og 1.sal til kro og senere i en kort periode som ‘Madmarked’, der gik konkurs og efterfølgende lejer der i en kort periode op+arbejdede et fint og velbesøgt spisested, desværre gik konkurs efter en heftig brand i køkkenet med efterfølgende lukning grundet røgskader i resten af bygningen.
Vordingborg kommune der nu var ejer, solgte i 2019 bygningen til Jakob Helles i Præstø, der efterfølgende gennem moderniserede hele bygningen og udlejede den, med åbning i maj måned 2020 som restaurant og med nyt navn ‘Det gamle Toldhuus‘