Konstanzban született 1838. július 8-án grófi családban. Felmenői példáját követve ő is katonai pályára lépett. Az amerikai polgárháborúban megfigyelő volt az északi hadseregben, majd részt vett a Mississippi forrásvidékének felkutatására indított expedícióban, ekkor emelkedett először levegőbe egy megfigyelő ballonnal. Ezután a vesztes osztrák oldalon vett részt 1866-ban a porosz–osztrák, majd a győztes német oldalon az 1870-es német–francia háborúban. 1891-ben altábornagyi rangban helyezték rendelkezési állományba, ezután kezdett a repülés kérdéseivel foglalkozni.
Több kudarc után a magyar Schwarz Dávid terveit továbbfejlesztve sikerült megépítenie a merev testű, kormányozható léghajót. Schwarz léghajója csak egyszer, már a feltaláló halála után szállt fel, de a pilóta hibájából lezuhant, Zeppelin ezután vette meg a találmányt az özvegytől.
A Boden-tó partján fekvő Fried­richs­hafenben hozta létre léghajóépítő üzemét, itt készült a 128 méter hosszú, 12 méter átmérőjű LZ-1, amelynek 16 elválasztott gázzsákjába a levegőnél könnyebb hidrogéngázt töltöttek. A légcsavarokat két 16 lóerős motor hajtotta. A léghajó első próbaútján, 1900. július 2-án öt emberrel a fedélzetén 410 méter magasságot ért el, és 17 perc alatt hat kilométert repült. Hiába volt a látványos siker, a befektetők nem voltak hajlandók több tőkét a vállalkozásba fektetni, Zeppelin kénytelen volt a céget felszámolni, a léghajót szétszerelni. A katonai vezetést azonban érdekelte a találmány, az állami támogatás, a javára szervezett sorsjáték és a felesége birtokára felvett jelzálog lehetővé tette, hogy folytassa kísérleteit. Az LZ-2 és az LZ-3 útjai során több balesetet szenvedett, mégis hatalmas feltűnést keltettek, s a lelkes németek 1908-ban hatmillió márkát gyűjtöttek össze a gróf számára. A valóban megbízható LZ-4 1908-ban készült el, s az első világháború kitöréséig 21 léghajót építettek, ezek 1910-től szállítottak utasokat. A siker akkora volt, hogy a köznyelvben ezután minden merev testű léghajót zeppelinnek neveztek.
A légi járműveket a háború kitörésekor a hadsereg lefoglalta. Többségüket felderítésre használták, de néhány bombázás során is bevetették őket, például London fölött, az akciónak azonban inkább csak lélektani hatása volt. A zeppelinek ugyanis lassúságuk miatt ki voltak szolgáltatva a mozgékony repülőgépeknek, ráadásul robbanékonyságuk miatt könnyű célpontot jelentettek, ezért az 1916-os verduni csata után kivonták azokat a frontvonalból. Zeppelin 1917. március 8-án hunyt el, már nem érte meg, hogy az 1918-as német vereség után a győztes hatalmak bezáratták gyárát, a zeppelineket pedig az amerikaiak kapták meg kárpótlásként.
A munkát Zeppelin halála után Hugo Eckener kapitány folytatta. Az 1928-ban épített Graf Zeppelin 21 nap alatt járta körbe a földet, összesen 144 alkalommal kelt át az Atlanti-óceánon, és 1937-ig 590 utat megtéve 16 ezer utast szállított. Magyarországon 1931. március 29-én szállt le a csepeli repülőtéren az első zeppelin, amelyből elsőként Karinthy Frigyes lépett ki. Ezek a léghajók voltak az ember által valaha épített legnagyobb repülő szerkezetek, hosszabbak, mint három Boeing 747 gép, és csak 24 méterrel rövidebbek, mint a Titanic. Tündöklésüknek szörnyű baleset vetett véget: a robbanásveszélyes hidrogénnel töltött Hindenburg léghajó 1937. május 7-én New Jerseyben leszállás közben, máig tisztázatlan körülmények között kigyulladt, a robbanás 36 emberéletet követelt.