El álbum 'All or Nothing at All' fue lanzado en 1958 por Verve Records, pero las sesiones de grabación tuvieron lugar entre 1956 y 1957. Billie Holiday estaba en una etapa tardía de su carrera, luchando contra problemas de salud y adicciones, pero su voz conservaba una profundidad emocional única.
El productor Norman Granz, fundador de Verve, supervisó las grabaciones, que incluyeron arreglos de grandes músicos de jazz como Benny Carter y Harry 'Sweets' Edison. El álbum combina estándares del jazz y baladas, mostrando la capacidad de Holiday para transmitir dolor y melancolía.
Aunque no fue uno de sus mayores éxitos comerciales, 'All or Nothing at All' es considerado por los críticos como un testimonio de su arte en sus últimos años. La canción que da título al álbum, originalmente grabada por Frank Sinatra, fue reinterpretada por Holiday con un estilo íntimo y desgarrador.