O álbum 'Stay with Me' foi lançado em 1958 pela Verve Records, como uma compilação de gravações feitas entre 1955 e 1958. Produzido novamente por Norman Granz, o disco inclui tanto sessões de estúdio quanto takes alternativos de canções previamente lançadas.
As gravações contaram com arranjos de Ray Ellis e a participação de músicos como o trompetista Harry Edison e o saxofonista Ben Webster. O álbum se destaca por sua atmosfera íntima, com Holiday interpretando baladas e blues com a profundidade emocional característica de seus últimos anos.
Embora não tenha sido um álbum conceitual original, 'Stay with Me' foi bem recebido pela crítica e é valorizado por capturar a essência de Holiday em sua fase final na Verve. A faixa-título é uma versão do standard 'Stay with Me (Main Theme from 'The Cardinal')'.