Ősi nagybirtokos, evangélikus nemesi családból származott, apja Kubinyi János, anyja Hellenbronth Teréz volt. Szülei korai halála után anyai nagyanyja nevelte, és gazdag örökséghez juttatta. Kubinyi 1848 előtt Gömör vármegye tiszteletbeli főjegyzőjeként dolgozott. Várgedei kastélyát Ybl Miklós tervei alapján építtette, felhajtólépcsőit Izsó Miklós faragta. A nagy társasági életet élő Kubinyit a reformkor számos írója, köztük Vörösmarty is felkereste. Petőfi első felvidéki útján, Rimaszombaton ismerkedett meg vele, és elfogadta meghívását. Tíz napot töltött a kastélyban, innen indul hosszabb-rövidebb kirándulásokra. Második országjáró útjára Kubinyitól kért kölcsön 200 pengőforintot, amit ki is egyenlített. Barátságukat jól illusztrálja, hogy Petőfi a nászútjáról csak Aranynak, Emődynek és Kubinyi Rudolfnak írt levelet. 1848-1849-ben Kubinyi a rimaszécsi kerület országgyűlési képviselőként ténykedett, és követte a kormányt Debrecenbe. 1867-ben Gömör vármegye főispánja volt, emellett országgyűlési képviselőnek is megválasztották. 1871 és 1875 között Heves vármegye főispánja volt. 1875-ben Tisza Kálmánnak kormányra jutásakor állásáról lemondott és a Gömör megyei birtokára vonult. Birtokainak javát 1879-ben elárverezték. Trajtler Zsuzsannát vette feleségül, akitől két lánya, Ella és Adrienné született.