El álbum 'Stay with Me' fue lanzado en 1958 por Verve Records, como una compilación de grabaciones realizadas entre 1955 y 1958. Producido nuevamente por Norman Granz, el disco incluye tanto sesiones de estudio como tomas alternativas de canciones previamente editadas.
Las grabaciones contaron con arreglos de Ray Ellis y la participación de músicos como el trompetista Harry Edison y el saxofonista Ben Webster. El álbum destaca por su atmósfera íntima, con Holiday interpretando baladas y blues con una profundidad emocional característica de sus últimos años.
Aunque no fue un álbum conceptual original, 'Stay with Me' fue bien recibido por la crítica y es valorado por capturar la esencia de Holiday en su etapa final en Verve. La canción que da título al álbum es una versión del estándar 'Stay with Me (Main Theme from 'The Cardinal')'.