'Swing Easy!' fue grabado en abril de 1954 en los estudios Capitol de Hollywood, apenas unos días después de completar las sesiones de 'Songs for Young Lovers'. Producido nuevamente por Voyle Gilmore, el álbum contó con arreglos de Nelson Riddle y se centró en un repertorio de swing rápido y optimista, en contraste con el tono más romántico de su predecesor.
El álbum alcanzó el puesto número 3 en la lista Billboard 200, igualando el éxito de su primer LP. Incluye versiones de estándares como 'All of Me' y 'I Can't Believe That You're in Love with Me'. La portada mostraba a Sinatra sonriendo con un sombrero de ala ancha, reflejando el espíritu desenfadado del disco.
Este álbum fue el segundo de Sinatra para Capitol y ayudó a establecer su reputación como intérprete de swing. Aunque originalmente fue lanzado como un LP de 10 pulgadas, fue reeditado posteriormente en formato de 12 pulgadas con pistas adicionales. 'Swing Easy!' es considerado un complemento perfecto a 'Songs for Young Lovers'.