Elszegényedett nemesi családból származott, apja Tompa Mihály csizmadia, céhen kívüli kontár, anyja Bárdos Zsuzsanna volt. Anyja 1822-ben második gyermeke szülésekor meghalt, ekkor a kisbirtokos apai nagyszülők, Tompa György és Tóth Katalin vették magukhoz Mihályt. Tanulmányait Igriciben kezdte, majd a Szentirmay család segítségével 1832-től a sárospataki református kollégium diákjaként tanult. 1844-ben fejezte be a jogi és teológiai képzést. Szeptember 1-jétől Eperjesen nevelőként, majd 1847-től Bején református lelkipásztorként dolgozott. 1841-ben mutatkozott be az Athenaeumban, ezt követően verseit folyamatosan publikálta a fővárosi lapokban. 1846-ban jelent meg a reformkor egyik legsikeresebb könyve, a két kiadást is megélő Népregék és mondák. Petőfi első felvidéki útján, 1845 áprilisában Eperjesen ismerkedett meg a költővel. A második találkozón 1847. július 3-án Bején már konfliktusba kerültek, mivel Petőfi ötletei (népies triász, kizárólagos szerződések, Szécsi Maria-pályázat) nem álltak összhangban a szűkös körülmények között élő Tompa lehetőségeivel. Az utolsó, dokumentálható találkozó 1848 áprilisában történt, amikor Petőfi csak néhány percre fogadta a békülési szándékkal érkező kollégáját. Hazaérve Tompa elégette a hozzá írt Petőfi-leveleket. 1848 októberében a Gömör megyei önkéntes mozgó nemzetőrzászlóalj tábori lelkészeként ténykedett, majd 1848 őszén Keleméren szolgált lelkészként. Az orvosok, a gyógykúrák nem segítettek Tompa egyre súlyosbodó, testi betegségekben is megnyilvánuló depresszióján. 1849. május 1-jén vette feleségül Soldos Emíliát (megh. 1880). A szabadságharc bukása után eleinte nyíltan fejezte ki a nemzeti fájdalmat (A gólyához, Pusztán, Levél egy kibujdosott barátom után), de amikor A gólyához című verse miatt a kassai haditörvényszék elé idézték és falujába internálták, kéziratait elkobozták, az önkény és a cenzúra nyomása arra késztette, hogy allegóriákban, rejtett értelmű költeményekben verseljen (A madár fiaihoz, Télben, Új Simeon, A sebzett szarvas, Ikarus). 1851-től a hanvai gyülekezet lelkészeként ténykedett. Két fia halála felerősítette depresszióját és öngyilkossági tervekkel próbált elébe menni a halálnak.