O álbum 'All or Nothing at All' foi lançado em 1958 pela Verve Records, mas as sessões de gravação ocorreram entre 1956 e 1957. Billie Holiday estava em uma fase tardia de sua carreira, lutando contra problemas de saúde e vícios, mas sua voz mantinha uma profundidade emocional única.
O produtor Norman Granz, fundador da Verve, supervisionou as gravações, que incluíram arranjos de grandes músicos de jazz como Benny Carter e Harry 'Sweets' Edison. O álbum combina standards de jazz e baladas, mostrando a capacidade de Holiday de transmitir dor e melancolia.
Embora não tenha sido um de seus maiores sucessos comerciais, 'All or Nothing at All' é considerado pela crítica como um testemunho de sua arte em seus últimos anos. A faixa-título, originalmente gravada por Frank Sinatra, foi reinterpretada por Holiday com um estilo íntimo e dilacerante.