Ellington nació el 29 de abril de 1899, hijo de James Edward Ellington, un mayordomo de la Casa Blanca, y de Daisy Kennedy Ellington. Desde muy joven, el ambiente confortable en el que vivió le facilitó, con siete años, comenzar a recibir lecciones de piano, y a escribir música en su adolescencia. En 1917 dejó el instituto en el que estudiaba, y pasó a dedicarse por completo a la música. Su debut profesional se produjo con diecisiete años, en su ciudad natal. Desde sus inicios ya influyó en él un género musical muy popular a principios de siglo, el ragtime, estilo esencialmente pianístico derivado del jazz.

Posteriormente, su paso por el famoso club "The Cotton Club" de Harlem, que duró tres años a partir de su entrada el 4 de diciembre de 1927, convirtió a Ellington en un músico de gran renombre en todo los Estados Unidos por la retransmisión radiofónica de muchas de sus actuaciones. Durante esta etapa, en 1929, el quinteto actuó interpretando música de George Gershwin en el musical de Broadway Show Girl. También actuaron en varias películas. Diversas giras por Estados Unidos y Europa acrecentaron su fama sobremanera.

A partir de mitad de la década de 1940 se produjo un viraje en el sentido de sus composiciones, que pasaron a ser más formales y de mayor aliento temático: Black, Brown and Beige (1944), Frankie and Johnnie (1945) o Deep South Suite (1946). Los gustos del público cambiaban, orientándose más hacia formaciones con mayor peso de un instrumento solista y de menor número de componentes, consecuencia todo de la revolución bop, pero Ellington permaneció leal a su concepción y forma de entender la música, dando paso en su banda a músicos de la talla del saxofonista Johnny Hodges o el trompetista Cootie Williams como muestra del nivel de exigencia de ésta.

La década de 1960 despertó el interés de Duke Ellington en la música litúrgica. Compuso piezas como "In the beggining of God", reproducida públicamente por primera vez en 1965 en la catedral de San Francisco, y permaneció al frente de su orquesta hasta su fallecimiento, momento en el cual tomó el relevo su hijo Mercer Ellington.

Al final de su vida llegaron los mayores reconocimientos a su carrera, teniendo en su haber los títulos de Doctor Honoris Causa por las Universidades de Howard en 1963, y de Yale en 1967, además de la Medalla Presidencial del Honor otorgada en 1969. Fue nombrado miembro del Instituto Nacional de las Artes y las Letras de Estados Unidos en 1970, y en 1971 pasó a ser el primer músico de jazz miembro de la Real Academia de la Música de Estocolmo. Estuvo nominado en 1965 para recibir el Premio Pulitzer, pero su candidatura fue rechazada, a lo cual reaccionó con una de sus frases más famosas: "El destino está siendo amable conmigo. No quiere que yo sea famoso demasiado joven".