New Orleansben született 1901. augusztus 4-én. Nagyapja még rabszolga volt, apja pedig korán otthagyta családját. Gyermekkora mérhetetlen szegénységben telt, tinédzser anyja gyakran prostitúcióra kényszerült, hogy enni adhasson gyerekeinek, így jobbára nagyanyja és a szomszédban lakó litván zsidó bevándorlók nevelték. Ők adtak neki pénzt arra is, hogy öt dollárért megvehesse első hangszerét, egy kornettet. Tízévesen ott kellett hagynia az iskolát, alkalmi munkákból próbálta segíteni családját. 1912 szilveszterén apja fegyverével durrogtatott az utcán, ezért letartóztatták és javítóintézetbe küldték. Itt kezdett komolyabban a kornetten játszani.

A tehetséges fiút Joe King Oliver vette pártfogásába, Az ő együttesének tagjaként készítette első lemezfelvételét 1923-ban, sőt, az együttes zongoristáját, Lillian Hardint vette feleségül. Felesége nógatására 1924-ben Fletcher Henderson együttesébe igazolt át, majd hamarosan önállósította magát, a kornettről áttért a trombitára, s huszonöt évesen már a hangszer királyaként emlegették. Számos együttesben fordult meg, mindenki kedvelt zenésztársa volt, szólói, improvizációi lenyűgözték a közönséget. Scat stílusú éneklése (improvizatív, szaggatott, a szótagokat-szavakat értelem nélkül összefűző, a hangszereket utánzó éneklési stílus) szintén forradalminak számított: azt mondták róla, hogy hangszerét úgy használta, mint az énekes a hangját, a hangját pedig, mint egy hangszert. Övé az a kétes dicsőség is, hogy az egyik első hírességként tartóztatták le kábítószer birtoklása miatt. Egy másik elsőség is fűződik nevéhez, ő az első afroamerikai előadó, aki hollywoodi sikerfilmben szerepelt és az első, akinek önálló rádióműsora volt.

A harmincas években lett igazán nagy csillag, saját együttesei mellett több big band szólistájaként is turnézott, filmezett, több lemeze került fel a listákra. Jól menő énekeseket, énekesnőket kísért, köztük volt Bessie Smith, a blues császárnője is, Ella Fitzgeralddal több lemezt is készített, kettősük felejthetetlen maradt. A szvingkorszak alkonyán, a negyvenes években feloszlatta zenekarát és egy kis együttessel járta a világot. A hidegháború éveiben Amerika jószolgálati nagykövetének számított, zenéjével több barátot szerzett hazájának, mint a hivatásos diplomaták.

Emlékezetes belépője a Hello, Dolly! című filmben. A dal 1964-ben még a népszerűsége csúcsán lévő Beatlest is maga mögé utasította a slágerlistán, s az akkor 63 éves Armstrong minden idők legidősebb listavezető előadója lett. Armstrong nevéhez a legtöbben a What a Wonderful World című dalt kapcsolják, mely előbb a brit slágerlisták élére röpült, majd két évtizeddel később, amikor az 1987-es Jó reggelt, Vietnam! című filmben megjelent, az amerikai toplistákat is bevette.