Anthony Robert McMillan néven született Glasgow-ban, ott végzett művészeti iskolát, festői képességeiben kételkedve váltott később a színészetre s kezdett el színtársulatokban játszani. A Coltrane művésznevet John Coltrane jazz-zenész tiszteletére vette fel.

Első filmszerepét 1979-ben kapta, ezután filmekben és tévésorozatokban tűnt fel kisebb szerepekben, puszta testméretei is segítettek neki, hogy kitűnjön a tömegből. A nyolcvanas években egyre többször kapott nagyobb szerepeket, többek között Derek Jarman Caravaggiójában, melyben a kardinálist alakította, vagy Kenneth Branagh V. Henrikjében, ahol Falstaffot játszotta.

Háromszor tüntették ki a brit filmes Bafta-díjjal, 1994-ben, 1995-ben és 1996-ban is neki ítélték a legjobb tévészínésznek járó elismerést. Játszott két James Bond-epizódban, az Aranyszem és a Világ nem elég című filmben.

J. K. Rowling Harry Potter-regényfolyamának megfilmesítésekor az elsők között kérték fel a Roxfort varázslóiskola gondnokának, Rubeus Hagridnak a szerepére. A nyitó epizód, A bölcsek köve 2001-ben debütált, Coltrane a jóságos óriás megformálójaként egy sereg új, fiatal rajongót szerzett magának. Coltrane felesége 1999 és 2003 között Rhona Gemmel szobrász volt, két gyerekük született.