1938. december 8-án született Budapesten, tisztviselőcsaládban. Gimnáziumi tanulmányait Budapesten végezte, 1957-ben érettségizett, a budapesti bölcsészkaron szerzett magyar–német szakos tanári oklevelet. Rövid ideig nevelőtanárként dolgozott, 1971-től szabadfoglalkozású íróként és műfordítóként működik.
Gyermekkorától máig ugyanabban a házban él Budán, a Lánchíd közelében. Ifjúkorától fogva él együtt feleségével, Tandori Ágnessel (ki maga is író s műfordító); néhány prózakötetet társszerzőként együttesen is írtak vagy adtak közre. Nagyon fiatalon bekerült gimnáziumi tanárának, Nemes Nagy Ágnesnek írói-baráti körébe (Mészöly Miklóssal, Ottlik Gézával, Mándy Ivánnal s másokkal volt szoros kapcsolatban), s e körnek irodalmi–művészeti–filozófiai tájékozódása, ízlése s erkölcsi tartása igen nagy hatással volt írói pályakezdésére s választásaira.
Versei a hatvanas évek közepétől fogva jelennek meg rendszeresen, első kötete 1968-ban jelent meg Töredék Hamletnek címmel. E kötet azonnal magára vonta az irodalmi közvélemény kitüntetett figyelmét, s általa (továbbá következő kötete, az 1973-ban megjelent Egy talált tárgy megtisztítása által) Tandori a korszak költészeti megújulásának központi szereplőjévé vált; költészetének mind metafizikai mélysége, mind filozofikus játékossága újszerűen és felszabadítóan hatott. A hetvenes évektől kezdődően Tandori folyamatosan és igen sokféle műfajban publikált: jelentős érdeklődést és visszhangot váltott ki mind állandóan, kötetenként megújuló, folyamatosan új poétikákat kipróbáló költészete, mind széles körű, filozofikus esszéírása (mellyel a magyar és világirodalom és képzőművészet igen sok kiemelkedő alakját és művét is érintette), mind sokoldalúan újító prózaírása (akár önéletrajzi jellegű esszéisztikus fikcióiban, akár a műfaj határait sokfelé nyitogató, saját nevének anagrammájából készített álnéven – Nat Roid – publikált krimisorozatában), mind pedig a minimal art vagy a concept art felé tájékozódó képzőművészeti, grafikai tevékenysége.
1978-ban megkapta a József Attila-díjat. A hetvenes évek vége felé visszavonult az irodalmi élet nyilvánossága elől, s több mint tíz évig csak alkotásaival jelent meg a közönség előtt: életében ettől kezdve nagy szerepet töltöttek be madarai, verebei, kikkel együtt élt, kiknek ápolását és gondozását egyik legfontosabb feladatának tekintette, s kik ez időben keletkezett műveiben is rendkívül intenzív ihletőerővel hatottak.
A nyolcvanas-kilencvenes évek fordulójától kezdve ismét kilépett, személyében is, a nyilvánosság elé: sokat utazott (műveinek kiinduló témái közt ekkortájt jelennek meg a külföldi utazások, s az utazások céljaként a lóversenyek is), s gyakran fellépett irodalmi (nemegyszer performance-okra emlékeztető) rendezvényeken is, melyeken saját műveinek meglepő és izgalmas interpretátoraként is bemutatkozott. Az első kötete óta eltelt négy évtized alatt rendkívül sokat és sokfélét publikált: önálló köteteinek száma eléri a nyolcvanat, műfordításainak mennyisége oly hatalmas, hogy szinte beláthatatlan.
1994-ben a Széchenyi Irodalmi és Művészeti Akadémia tagjai közé választotta. Hatvanadik születésnapján, 1998 decemberében, majd 2008-ban, a hetvenedik születésnapon (távollétében) az irodalmi élet igen sok jeles képviselője köszöntötte benne a magyar irodalom megújulásának egyik legeredetibb és legnagyobb hatású képviselőjét.
Fontosabb díjak, elismerések:
1966 – a Nemzetközi P.E.N. Klub díja
1972 – Graves-díj
1975 – Füst Milán-díj
1978 – József Attila-díj
1984 – Forintos-díj
1989 – Déry Tibor-díj
1990 – Weöres Sándor-díj
1993 – Az Év Könyve Jutalom
1993 – a Soros Alapítvány Életműdíja
1994 – Getz-díj
1996 – a Magyar Köztársaság Babérkoszorúja-díj
1997 – az Üveggolyó Rend díja
1998 – Kossuth-díj
2000 – Pro Urbe Budapest-díj
2000 – Tiszatáj-díj
2001 – a Soros Alapítvány Alkotói Díja
2002 – a Soros Alapítvány Életműdíja
2002 – Mozgó Világ-nívódíj
2007 – Goethe-érem
2007 – Szépírók Díja
2007 – Prima Primissima-díj
2009 – a Magyar Köztársasági Érdemrend középkeresztje a Csillaggal (polgári tagozat)
2009 – az ARTISJUS Irodalmi Fődíja
2014 – a Nemzet Művésze-díj