Jómódú református családból származott, apja Tarczy János bérlő, vállalkozó, anyja Czike Julianna volt. Iskoláit szülőfalujában kezdte, ahol a helyi lelkész, Kovács Péter oktatta. Az ötödik osztálytól kezdve a révkomáromi református gimnáziumban tanult. A pápai kollégiumban filozófiát és teológiát hallgatott és tanári minősítést szerzett. Az egyházközség támogatásával 1831-1833-ban előbb Bécsben, majd több német városban, köztük Berlinben fizikát és matematikát tanult. 1833. november 4-től Pápára rendelték, és élete végéig a kollégium tanáraként dolgozott. Jelentős szerepe volt az iskola újjászervezésében és korszerűsítésében. Tanári pályája kezdetén a hegelianizmus első hazai képviselőjeként Hegel alapján álló filozófiát tanított, ami miatt támadások érték és abba kellett hagynia a filozófiai előadásokat. Ezt követően főként természettudományi tárgyakat tanított. A hazai természettudományos és ismeretterjesztő irodalom egyik legjelentősebb korabeli művelője volt. 1834-ban saját nyomdát hozott létre a kollégiumban. 1838-tól a Magyar Tudományos Akadémia levelező, 1840-től rendes tagja. Székfoglaló beszédét Széchenyi István is érdeklődve hallgatta, és Tarczy az ő hatására hozott létre Pápán mintagazdaságot. 1841-ben vette feleségül Nagy Jozefát, akitől négy gyermeke született. Petőfire már 1841 tavaszán fölfigyel, és nagy szerepe volt abban, hogy a költőt ősszel felveszik a kollégiumba. Petőfit természettudományra, német és magyar nyelvre oktatta. Mint a Képzőtársaság tanárelnöke segítette költői fejlődését. A professzor előfizetőket is gyűjtött a Versek (1842-1844) kötetre. A Felvidéken tartózkodó Petőfi nyílt levelet tett közzé, melyben megrótta Tarczyt, amiért az nem vitte el Pestről a köteteket. 1885. november 4-én, félszázados tanári jubileumán királyi tanácsossá nevezték ki.