In het grensgebied van Utrecht en Holland stonden in de middeleeuwen diverse kastelen op de zuidelijke oeverwal van de Hollandse IJssel. De graaf van Holland en de bisschop van Utrecht versterkten hun territorium met hulp van leenmannen, die grond en rechten kregen. Zo ontstonden de kastelen bij IJsselstein, Montfoort, Haastrecht en hier bij Oudewater in de polder Vliet. De oeverwal was hoog en er was voldoende klei voor bakstenen.

Op deze plaats stond het Kasteel Te Vliet. Het muurfragment van rode kloostermoppen, ca 9,5 meter hoog en 1,35 meter dik, is een overblijfsel van de donjon, de woontoren. Het staat op een kasteeleiland.

Kasteel te Vliet werd waarschijnlijk gesticht door Gerrit van den Vliet, een broer van Herman VI van Woerden( 1274-1304), die betrokken was bij de moord op Floris V in 1296.

Waarschijnlijk is Kasteel te Vliet na de inname van Oudewater in 1575 ontmanteld, omdat de vijand zich hierin kon verschansen. In 1646 was het kasteel al een ruïne.