První zmínka o vsi pochází z roku 1347, kdy byla majetkem Sedleckého kláštera, v roce 1387 prodeli svoje díly vsi (dva dvory) Petr ze Smířenic a Hamon z Kunčic městu Kolín. Ze Třech Dvorů pochází zemanský rod Srníků ze Třídvorů, kteří ve 14. století vlastnili Polepy a Hranice. Později vlastnil jeden dvůr v obci Václav Pelíšek, který ho v roce 1475 prodal jakémusi Pavlovi a sám se odstěhoval na svou novou tvrz Jilmanice u Bošic, po kterých se začal i psát, a nějaké majetky zde měl kolem roku 1487 i skalický klášter. V roce 1547 získal obec jako konfiskát král Ferdinand I. a připojil ji ke královské komoře. Teprve 21. března 1555 Kolín Tři Dvory vykoupil a znovu připojil k městskému majetku, v té době zde bylo 14 usedlých rolníků.
Po bitvě na Bílé hoře patřily Tři Dvory od listopadu 1622 do 27. listopadu 1628 hejtmanovi kolínského panství Janu Václavu Grýzlovi z Grýzlova a na Donamyšli. Poté se opět vrátily do majetku města Kolín. Po skončení třicetileté války byla polovina gruntů pustých, takže musely být znovu osídleny. Na jaře roku 1690 obec zcela vyhořela a jak se později ukázalo, oheň založil najatý žhář Martin Švejda, tiskař plátna. Poté byla ves znovu od základu vystavěna blíže k Labi a místu, kde stály původní domy se dodnes říká "Na spáleništi". Městu Kolín patřily Tři Dvory až do zrušení patrimoniální správy, od té doby jsou samostatnou obcí.
Alois Drábek (* 7. 2. 1863 Choltice - † 8. 9. 1934 Kolín) - učitel, prozaik a překladatel z ruštiny, na Kolínsku působil ve školách v Ohařích a Třech Dvorech. Přispíval do kolínského Věstníku Klubu čs. turistů, je autorem povídek, divadelních her z venkovského prostředí a historických románů, ten nejznámější Na prahu velké doby se odehrává v době Rudolfa II. v Kolíně a okolí.
Stanislav Chábera (* 7. 10. 1920 Tři Dvory - † 12. 10. 2002 České Budějovice) - geograf a pedagog Jihočeské univerzity v Českých Budějovicích, v roce 1990 se stal univerzitním profesorem. Zabýval se geomorfologií, fyzickým a regionálním zeměpisem, geologií, metodikou geologických věd a bibliografií. Řadu studií věnoval výzkumu půd v jihočeské oblasti.
Podle místní tradice vznikl název obce od tří dvorů, které patřily jakémusi rytíři Rohanovi a dnes na jejich místě stojí domy čp. 5, 25 a 37. Nejtarší písemný doklad o názvu vsi je latinský jako Tribus curiis (1347), v dalších písemnostech se již objevuje pouze český název obce Třiedwoří (1436), Tři Dvoři (1488), Tržydwory (1654) či Třidvory (1915).
Podvýborem pro heraldiku a vexilologii Poslanecké sněmovny Parlamentu České republiky byl dne 17. dubna 2009 usnesením č. 46 schválen znak a prapor obce. Jedná se tak zvaný „mluvící znak“, který tvoří modrý štít, ve kterém jsou pod zúženou stříbrnou vlnkou (řeka Labe) tři stříbrné brány do dvora se zlatými otevřenými vraty a červenými valbovými střechami (název obce). Vlajku tvoří dva vodorovné pruhy, bílý a zvlněný modrý se třemi vrcholy a dvěma prohlubněmi, ve kterém jsou tři bílé brány se žlutými otevřenými vraty do dvora a červenými valbovými střechami.
Tři Dvory jsou dnes samostatnou obcí, katastrální výměra činí 4,62 km² a žije zde 998 stálých obyvatel (1. ledna 2021).
Tři Dvory leží 4 kilometry východně od Kolína v nadmořské výšce 197 metrů.