A református nemesi fáji Fáy családból származott, apja Fáy László ötezer holdas földbirtokos, anyja szemerei Szemere Krisztina volt. Fáy gyermekéveit anyai nagyszülei birtokán, Gálszécsen töltötte. Innen került 1793. május 30-án bátyját, Ferencet követve a sárospataki kollégiumba. 1799-ben, Sárospatakot elhagyva Fáy a pozsonyi evangélikus líceumban folytatta tanulmányait: az itt töltött évek alatt sajátította el a német és angol nyelvet. 1803-ban visszatért Sárospatakra, ahol először bölcsészetet, majd jogot hallgatott. 1804-től Pesten joggyakornokoskodott, majd ügyvédi oklevelet szerzett. Apja kérésére közigazgatási pályára lépett. 1810-ben a pesti, 1812-ben pedig a váci járás alszolgabírója, majd szolgabírája lett. 1816-ban cigányul tanult, verseket, szótárt és nyelvtant ír cigány nyelven. 1818-ban visszavonult gombai birtokára gazdálkodni, hogy mellette életét teljes egészében az irodalomnak és a társadalmi tevékenységnek szentelhesse. Pesten, gombai vagy Somló-hegyi birtokán szívesen látta vendégül Kazinczyt, Kisfaludy Károlyt és a romantika első nemzedékének tagjait. Fáy mint író lépett először a nyilvánosság elé, de miután 1823-ban Pestre költözött, Pest vármegye vezetőjeként egyre jelentősebbé vált közéleti tevékenysége. Széchenyi híve, aki a fontolva haladást pártolta, és elutasította a radikális eszméket. A Kisfaludy Társaság, a Védegylet, a Nemzeti Kör alapító tagjai között volt, tőle származott a Pesti Hazai Első Takarékpénztár létrehozásának gondolata, ami végül 1840. január 11-én nyílt meg. Szívügyének tekintette a hazai színjátszást, szorgalmazta a bölcsődék és óvodák építését és az egységes protestáns főiskola létrehozását Pesten. A Magyar Tudományos Akadémia alapításától tiszteletbeli tag, 1847-ben helyettes elnöki pozíciót is betöltött. A nincstelen Petőfinek tanítói állást szerzett, amivel a költő nem élt, a Nemzeti Kör elnökeként pedig elősegítette az első kötetének megjelenését. 1832-ben feleségül veszi a náluk nevelkedő Sziráky Zsuzsannát (megh. 1879), akitől már 1824-ben fia, Gusztáv (megh. 1866) született. A szabadságharc idején visszavonult gombai birtokára, és innentől főleg az irodalommal foglalkozott.