Zsidó családból származott. Hétéves korában kezdett hegedülni, Nyitrán, Pozsonyban és Prágában tanult. 1808-ban Pestre került és a Magyar Színjátszó Társulat elsőhegedűseként vállalt állást. 1814-ben vette feleségül Szlovák Henriettét. Három gyermekük született: a fiatalon elhunyt Babetta, Gyula, a zeneműkiadó társalapítója, és Lipót, aki orvosi pályára lépett. Az 1819-es nagy bajai tűzvészben mindenük odaveszett. Ekkor Pécsre ment, majd Temesváron a színházi zenekar hegedűse volt. 1821 és 1833 között ismét Baján élt. 1824-től használta a Rózsavölgyi nevet, 1846-ban hivatalosan is nevet változtatott. Szerzeményei ismertté váltak, több gyűjteményes kiadványban (Magyar Nóták Veszprém Vármegyéből) helyet kaptak. 1833-ban Pestre költözött, de tovább folytatta hangversenyútjait. Az állandó turnézás mellett a Nemzeti Színház koncertmestere és elsőhegedűse volt. A Nemzeti Kör - Petőfi verseivel párhuzamosan - Rózsavölgyi dalainak kiadására is támogató előfizetést gyűjtött. Az 1840-es évek elején cigányzenészekből álló együttest szervezett és a Pilvaxban lépnek fel. Amikor 1844-ben a zenekart a Pesti Hírlapban éles hangú kritikával illették, Petőfi védelmükre kelt. A csárdás atyja, a verbunkos zene egyik utolsó, magas színvonalú képviselőjeként fontos szerepet játszott a Védegylet törekvéseinek megvalósításában. Vahot Imre írja meg életrajzát. Petőfi „Márkus bácsival”, aki hosszú betegeskedés után, szegényen halt meg, apai-baráti viszonyt ápolt.