A háború alatt, 1944-ben született Budapesten a repülőgép-tervező Rubik Ernő fiaként. A találékony szellemet apai ágon öröklő fiú a Budapesti Műszaki Egyetemen végzett építészmérnökként 1967-ben, majd 1971-ig belsőépítészetet tanult az Iparművészeti Főiskolán. Ezután építész-tervezőként dolgozott, 1970 és 1988 között az Iparművészeti Főiskolán tanított.

1974 tavaszán oktatási segédeszközként tervezte meg a térbeli mozgások szemléltetésére alkalmas, mérnöki modellezést segítő szerkezetét, amelyről később kiderült, hogy játéknak is nagyon szórakoztató. 1975-ben rukkolt elő a bűvös kockával, amelyre 1976-ban Térbeli logikai játék néven kapott szabadalmat. A kocka a játékosok körében rövid idő alatt példátlan népszerűségre tett szert, gyártásához és külföldi terjesztéséhez azonban át kellett verekednie magát a magyarországi bürokrácia útvesztőin, míg végül Rubik-kocka néven meghódította a világot. Népszerűsége négy évtized után sem csökkent, változatlanul kihívást jelent játékosoknak és matematikusoknak egyaránt. Míg az előbbiek a kockakirakási rekordokat (2018 óta 4,22 másodperc) döntögetik, az utóbbiak a kirakási lépések minimális számát keresve igyekeznek megfejteni a játékszer titkát. Rubik Ernőnek először egy hónapba telt, míg megoldotta saját találmánya rejtélyét. (A kockának 43 trillió különböző állása lehet.)

1980–81-ben több országban volt az év játéka, később klubokat, egyesületeket, versenyeket és világbajnokságokat szerveztek rajongóinak. 1981-ben a kocka bevonult a New York-i Modern Művészetek Múzeumának építészeti és dizájngyűjteményébe.

Tervezője a tanítás mellett 1982–83-ban főszerkesztőként jegyezte az ...És játék című lapot, 1983-ban megalapította és azóta is vezeti a játéktervezésre szakosodott Rubik Stúdiót. A feltaláló a kocka után újabbnál újabb logikai játékokkal jelentkezett, 1977-ben alkotta meg a Kígyót, 1985-ben a Bűvös négyzetet, majd a Bűvös dominót és a Rubik-órát, 2009-ben a Rubik’s 360-at, vagyis a Rubik-gömböt. Ez utóbbiak világszerte kedvelt logikai játékok, de meg sem közelítik az időközben kultusztárggyá vált kocka elsöprő sikerét.

Rubik Ernő 1982-ben innovációs és ösztöndíj-alapítványt, 1988-ban pedig Rubik Nemzetközi Alapítványt hozott létre a kiemelkedő teljesítményt nyújtó diákok támogatására. 1987-től címzetes egyetemi tanár, 1990–1996 között a Magyar Mérnök Akadémia elnöke, 1996-tól tiszteletbeli elnöke.

Munkásságát számos kitüntetéssel ismerték el, 1983-ban Állami Díjat kapott, 1995-ben életművéért, innovációs tevékenységéért Gábor Dénes-díjjal, 2007-ben Kossuth-díjjal tüntették ki. 2008-ban Moholy-Nagy-díjat, 2009-ben Esztergomban díszpolgári címet és Magyar Örökség Díjat kapott, valamint a Magyar Köztársasági Érdemrend középkeresztje a csillaggal kitüntetést vehetett át. 2010-ben Prima Primissima díjjal, 2012-ben Hazám díjjal és az Amerikai Magyar Alapítvány George Washington-díjával ismerték el, 2014-ben Budapest díszpolgára lett, és ugyanebben az évben megkapta a legmagasabb állami kitüntetést, a Magyar Szent István Rendet.

A kocka sikere lehetővé tette számára, hogy kizárólag azt csinálja, amit szeret, ugyanakkor hatalmas lekötöttséggel is járt. A rendszeres tanítást abbahagyta, hogy saját stúdióbeli munkájával, szoftver- és építészeti témákkal, számítógépes játékokkal foglalkozzon. „Az a lényeg, hogy amivel foglalkozom, abban örömömet leljem” – mondta egy interjúban. Egy másikban pedig így vallott: „Nem én vagyok itt a fontos, hanem a kocka. Sőt, még csak nem is a kocka, hanem a hatása: hogy miként tudott ennyi emberre és ilyen sokáig hatni, hogyan tudott évtizedeken át, miközben a világ óriásit fordult, ugyanúgy népszerű lenni az új generációk számára is.”
Bűvös kockája a nehezen megoldható, bonyolult problémák kezelésének jelképévé vált, kirakása „csüggesztő feladatnak tűnik, de a kitartás, a töretlen összpontosítás és a kreativitás meghozza gyümölcsét”. A kocka számos magyar és külföldi filmben jelent meg a szereplők magas fokú intelligenciájának bizonyítására, képzőművészeti alkotásokat ihletett meg, magazinok címlapfotójaként szerepelt. Az óbudai Graphisoft Parkban térplasztikaként a magyar találékonyságot jelképezi. Néhány éve tervek készültek egy Rubik Múzeum létrehozására is.

A kocka születésének 40. évfordulója alkalmából 2014 áprilisában az egyesült államokbeli Jersey Cityben, a Liberty Science Centerben Rubik-vándorkiállítás indult útjára, amely a tervek szerint hét év alatt körbejárja a Földet. A Túl a Rubik-kockán című kiállítás a műszaki tudományok, a művészet és a dizájn területeinek összekapcsolásával, interaktív és digitális attrakciók sorával képviseli a kockában testet öltött kreatív gondolkodást.