Vélhetőleg éjféltájban látta meg a világot, mert még családtagjai sem tudták pontosan, október 24-én vagy 25-én született-e, maga a komponista mindkét dátumot használta. Egy gabonakereskedő hat gyereke közül a harmadik volt, anyai ágon több muzsikus is akadt a családban. Zenei érdeklődése már korán megmutatkozott, a legenda szerint, amikor hangosan énekelve végigvonult szülővárosa piacterén, élvezettel nézte, ahogy az állatok riadtan szétrebbennek előtte. Első zenei leckéit négyévesen vette egy Siófokra látogató hegedűművésztől, általános iskolásként zongoraórákra járt. Miután édesapja vállalkozása csődbe ment, családjával Budapestre költözött, középiskolai tanulmányait a híres fasori gimnáziumban végezte. Tizenöt éves korától a Zeneakadémiára is járt, ahol évfolyamtársa volt Bartók Béla, később – a család nyomására – jogi tanulmányokat is folytatott, s a Pesti Napló zenei rovatát vezette. Zongorista-pályafutásának egy krónikus ínhüvelygyulladás vetett véget, emiatt átiratkozott a zeneszerzői szakra. Kuplékkal bontogatta szárnyait, a közönség különösen a Mert a Berta nagy liba című darabját kedvelte.

Már első operettje, az 1908-ban bemutatott Tatárjárás nagy siker lett, 144 előadást ért meg, és Bécsben is színpadra került. Kálmán nem sokkal később a császárvárosba költözött, alkotásait ezután előbb Bécsben mutatták be, majd Budapest következett. Hálás fogadtatásban részesült operettek sorát komponálta: A bajadér, a Marica grófnő, A cirkuszhercegnő, A mont­martre-i ibolya ma is gyakran felcsendül világszerte.

Nevével a Csárdáskirálynő forrt egybe. Minden idők talán legismertebb és legnépszerűbb operettjét az 1915-ös bécsi ősbemutató után 800 alkalommal játszották egyhuzamban, és csak a következő tizenöt évben harmincezer alkalommal adták elő világszerte. A Magyarországon is hallatlan népszerűségnek örvendő mű először a Király Színházban csendült fel 1916 novemberében. Az operett fülbemászó betétszámai újra és újra felhangzanak televízióban és rádióban, s több filmváltozata is készült.

A sikeres, befutott Kálmán megnősült, orosz-lengyel származású énekesnő feleségétől három gyermeke született. Az 1930-as években a fasizmus térnyerése egyre nehezebbé tette helyzetét Bécsben, bár újabb életrajzok szerint korábban sem érezte itt jól magát, mert sikerei ellenére magyar bevándorlónak, idegennek tekintették. 1940-ben először Párizsba költözött, majd Amerikába emigrált, ahol a felesége által tartott estélyeken mások mellett megfordult Salvador Dalí, Arnold Schönberg és Greta Garbo is. Beilleszkedni azonban nem tudott, és ekkor komponált operettjei már nem találtak kedvező fogadtatásra Európában. A második világháború után Párizsban élt, s megkapta a francia Becsületrend Tisztikeresztjét. A halál Párizsban érte 1953. október 30-án, kívánságára Bécsben temették el. Utolsó operettje, az Arizona Lady premierjét már nem érte meg, a művet fia fejezte be.