Több bandában megfordult, az Episode Six elnevezésűben ismerkedett össze a basszusgitáros Roger Gloverrel, és 1969-ben együtt csatlakoztak az útját kereső Deep Purple együtteshez. A rajongók szerint Ian Gillan volt és marad az együttes hangja, aki olyan klasszikussá vált albumokon szerepelt, mint a Concerto for Group and Orchestra, az In Rock, a Fireball, a Machine Head (utóbbi kettő listavezető volt Angliában), a platinastátuszt elért Made in Japan koncertlemez és a Who Do We Think We Are. Gillan közben elvállalta Andrew Lloyd Webber és Tim Rice rockoperája, a Jézus Krisztus Szupersztár címszerepét.
A szakadatlan felvételek, a folyamatos turnék kikezdték egészségét, 1971 októberében kimerültséggel kórházba került. A következő évben bejelentette, hogy Gloverrel együtt távozik, utolsó turnéjára az együttessel 1973-ban került sor. Gillan döntésében a fáradtság mellett nagy szerepet játszott, hogy elmérgesedett a viszonya a gitáros Blackmore-ral. Bár később még zenéltek együtt, színpadon kívül akkor sem találták a közös hangot, s ma már nem is beszélnek egymással. Miközben az utolsó közös koncerteket és interjúkat adták, a Machine Headről kimásolt Smoke on the Water egyre feljebb kapaszkodott a listákon, végül a Deep Purple fennállásának legnagyobb sikere lett.
Gillan 1983 májusában csatlakozott a Black Sabbath zenekarhoz Ronnie James Dio utódaként. 1984-ben még együtt turnézott a csapattal, amely koncerteken ráadásként a Smoke On The Watert játszotta, majd váratlanul a klasszikus felállásában újrakezdő Deep Purple tagja lett. Bár a Perfect Strangers és a House of Blue Light című album kelendőnek bizonyult, maga Gillan elégedetlen maradt, szavai szerint úgy érezte, valami hiányzik az együttesből. 1989-ben újra búcsút intett a Deep Purple-nek, és részt vett a számos legendás brit muzsikust felsorakoztató Rock Aid Armenia elnevezésű jótékonysági akcióban, amely az 1988-as örmény földrengés áldozatain igyekezett segíteni.
A következő évtizedekben hol a „mély bíborral” tartott, hol elvált tőlük, s bár folyamatosan koncertezett a csapattal, saját szólólemezek kiadására is maradt ideje. 2006-ban addigi pályafutását multimédiás CD-lemezzel összegezte, 2009-ben új stúdióalbummal rukkolt elő One Eye to Morocco címmel. A Deep Purple legutóbbi albuma 2013-ban Ian Gillan közreműködésével jelent meg Now What?! címmel.