Tvrz zřejmě nechal vystavět ve 2. polovině 14. století Čeněk z Lipan (v roce 1360 maršálek královny Anny Svídnické a v roce 1380 královský purkrabí na hradě Lichnici), který v té době vlastnil část Vitic. Poprvé a naposledy je totiž tvrz zmíněna jako „Kozí hrádek“ v roce 1389, kdy ji v rámci dědického sporu získal jeho synovec Mikeš z Lipan (asi † 1401). Po něm vlastnil tuto část vsi s tvrzí Mikeš (Mikuláš) Vrbík z Tismic, stoupenec krále Václava IV., jemuž náleželo patronátní právo k místnímu kostelu. Po dalším majiteli Martinovi z Lipan († 1466) zdědili tuto část vesnice jeho synové, kteří ji prodali v roce 1480 Slavatovi z Chlumu a Košumberka a ten ji připojil k černokosteleckému panství.
Tvrz stávala na strmém ostrohu obtékaném ze tří stran Bylanským potokem, na kterém se dochovaly patrné relikty valů a příkopů, popsané v roce 1891 J. L. Píčem. Na tomto místě nebyl proveden archeologický průzkum, který by lokalitu přesně datoval, může se tedy jednat i o zbytky slovanského nebo pravěkého hradiště.
Šimek T.: Hrady, zámky a tvrze v Čechách, na Moravě a ve Slezsku, díl VI. Východní Čechy. Svoboda Praha 1989.
Šámal Z.: Archeologický výzkum bojiště u Lipan 143, diplomová práce, str. 67. Univerzita Karlova, Filozofická fakulta, Ústav pro archeologii. Praha 2020.
Ostroh se nachází severně od vsi, přístup je silnicí od kostela na sever a pak po jeho hraně až do areálu tvrziště.
GPS: 50°1'56.000"N, 14°54'29.454"E
Volně přístupné