Rođen u Severnoj Karolini, od malih nogu je bio posvećen muzici. Prvi veliki korak u svojoj karijeri napravio je 1955. godine kada je zamenio Soni Rolinsa u tzv. „prvom velikom kvintetu“ Majlsa Dejvisa. Nekoliko slavnih albuma su proizvod ovog perioda, ali je 1957. Koltrejn udaljen iz benda zbog zavisnosti od heroina. Nakon što se oslobodio heroina, Koltrejn se pridružio bendu Telonijusa Monka. Za ovaj period, iako loše zabeležen, Koltrejn kaže da je mu bio presudan u životu. Godine 1958. se vratio kod Majlsa Dejvisa i na albumima Milestones (1958) i Kind of Blue (1959) postao najpoznatiji tenor saksofonista svog vremena.
Svoj prvi bend (kvartet) osnovao je 1960. godine i u njemu je počeo da svira sopran saksofon i da se kreće ka slobodnom džezu.
Džon Koltrejn je umro 1967. od raka jetre.