Hannoveri eredetű, zsidó származású értelmiségi családból származik. Apja Hirsch Gyula István orvos volt. A pesti evangélikus gimnáziumban Petőfi fölött járt. A grazi gimnáziumban végzett. Tanulmányai után Bécsben színészként, 1844-től Pozsonyban újságíróként dolgozott. 1846 tavaszán Pestre érkezett, irodalomszervezői ambíciókkal. Nyolc verset fordított németre a Felhőkből. Keresi a Tízek tagjait, de elutasították. Válaszul átfogó támadást indított az őt méltatlanul mellőző irodalmi nyilvánosság ellen. A perifériára szorult Zerffi 1846 szeptemberében a Honderűben tizenegy részes cikksorozatot írt Petőfi költészetét bírálva. 1847-ben a Petőfi-Arany-episztolaváltás kapcsán írt paródiát, de belekötött az Úti levelekbe is. 1848 áprilisától a Reform és a radikális Der Ungar lapok szerkesztője volt. A Reformban antiszemitizmussal vádolta Kossuth Hírlapját. A szabadságharc idején az Országos Rendőri Hivatal ügynöke volt, majd számvevő tisztként, végül Aulich Lajos tábornok segédtisztjeként ténykedett. A szabadságharc végén emigrált. Előbb a belgrádi francia konzulátuson dolgozott, 1850-ben Konstantinápolyban, 1851-ben Franciaországban élt, angol és német lapok levelezőjeként ténykedett, emellett 1849 novemberétől 1865 elejéig a bécsi titkosrendőrség fizetett ügynöke volt. Ügynöki tevékenységének csak kisebbik része a közel kétezer Bécsbe küldött jelentés. Később Londonban telepedett le, ahol nyelvtanár volt, valamint több nagy érdeklődést kiváltó történeti munkát publikált. 1868-tól a londoni iparművészeti főiskolán vállalt tanári állást. 1874-től a Royal Historical Society tagja, öt évig elnöke volt.