Po převzetí majetku panem Adamem Čabelickým ze Soutic si zde nový majitel ke svému pohodlí postavil roku 1565 nevelké šlechtické sídlo v renesančním slohu na půdoryse lichoběžníka, opevněné příkopem napájeným řekou Lužnicí. Majitelé tohoto panství se často střídali. Byli to Jan Mencelius z Kolsdorfu (r. 1625), Jan de Vitte z Lilientalu, Johanka Branštejnová z Malovic, Pavel Michna z Vacinova. V ro
ce 1704 přišel statek do dražby a dostal se do vlastnictví hraběte Františka Wratislava z Mitrowicz, s jehož rodinou zůstal po staletí spjat. V zápise ze Zemských desek z tohoto roku se dochoval popis tvrze. Byla stavěna z kamene a kryta kurkami (šindele), ve sníženém přízemí byl mlýn na dvojí složení, klenutá kuchyň, jeden pokoj, sklep a spižírny. V prvním poschodí bylo pět pokojů, ve druhém tři a prostorná tabulnice (jídelna). V letech 1737-1741 provedl František Karel Wratislav se svojí manželkou Marií Annou roz. Kinskou rozšíření obytné části s přístavbou kaple, tím vznikla dnešní barokní podoba zámku. Anny je dílem stavitele Jana Hybnera, jenž byl silně ovlivněn dílem mistra barokní architektury Kiliána Ignáce Dienzenhofera (1689-1751). Interier je bohatě zdobený freskami, největší je na stropě, zobrazuje Pannu Marii se svatou Trojicí. Na zdech přechází freska do ilusivní malované architektury – zábradlí, sloupy apod. Ústřední oltářní obraz sv. Anny je údajně dílem Petra Brandla. Z konce 18.století pochází také nástěnné malby v prvním poschodí. Zobrazují scény jednoho z předků Wratislavů z Mitrowicz, Václava zvaného „Tureček“ (1576-1635), který se jako patnáctiletý panoš zúčastnil cesty poselstva císaře Rudolfa II. do Cařihradu. Své vzpomínky na čtyřleté zajetí, které následovalo, zachytil ve vlastním cestopise „Příhody Václava Vratislava z Mitrovic“
K pozdějším úpravám došlo v roce 1840, kdy byl zrušen mlýn nacházející se v původní renesanční části zámku. Mlýn byl přemístěn do nové budovy na protilehlém břehu Lužnice a celé řečiště bylo přeloženo dále od zámku. Tím se zvětšil prostor před zámkem a došlo k rozšíření parku, původně založeného už v roce 1753. V roce 1875 byla mezi zámkem a vstupní branou postavena rodinná krypta rodu Wratislavů z Mitrowicz. Jako první sem byly uloženy ostatky bratrů Eugena a Karla Vratislavových, přenesené z kostnice na hřbitově v Týně nad Vltavou. Rod Wratislavů z Mitrowicz a Schoenfeldu vymřel po meči v osobě Evžena Vratislava roku 1943. Jedinou majitelkou kolodějského zámku se nakonec stala jeho sestra Marie Terezie (1884-1961), která se provdala za svobodného pána Dercsényi, majitele velkostatku v Dolních Počernicích. Ve čtyřicátých letech byl majetek Dercsényiů znárodněn. V letech 1941-42 bylo na staré části zámku objeveno sgrafito a na straně do dvora sluneční hodiny. Památkáři zjistili, že sgrafitem byly pokryty všechny čtyři stěny původní tvrze. Sgrafito byl z části odhaleno a ponecháno na fasádě jako torzo. V polovině šedesátých let došlo v důsledku stavby Orlické přehrady ke zvýšení hladiny Lužnice, zanikl jez pod zámkem a zámecký park se zmenšil stavbou ochranné zdi. Počátkem devadesátých let 20. století vznesly dědičky rodu Derscenyiů (rod vymřel po meči roku 1987) restituční nároky a po vydání majetek po částech rozprodaly.
