Mindkét ágról ősi katolikus nemesi családból származott, apja Ruffy András, anyja Foglár Mária volt. A család 1845-ben Várady Antal pesti ügyvédet bízta meg egy esztergomi haszonbérleti ügy képviseletével. A gyakori ügyvédi látogatásokat követően Várady Antal és Ruffy Ida eljegyezték egymást. Petőfi Ruffy Idának dedikálta a Szerelem gyöngyeit: „Ruffy Ida kisasszonynak - ismeretlen tisztelője: Petőfi”, Tompa Mihály pedig verset írt barátja menyasszonyának („Hűség. Barátom mátkájának, Ruffy Idának - ismeretlenül”). A katolikus menyasszony és a református vőlegény esküvőjét 1846. június 29-én tartották Esztergomban, Petőfi és Jókai tanúskodásával. A házasságból négy gyermek született. Petőfi 1847-ben, Szatmárból írt levelében is szeretettel emlékezett Idára.