'Swing Easy!' foi gravado em abril de 1954 nos estúdios da Capitol em Hollywood, apenas alguns dias após completar as sessões de 'Songs for Young Lovers'. Novamente produzido por Voyle Gilmore, o álbum contou com arranjos de Nelson Riddle e focou em um repertório de swing rápido e otimista, contrastando com o tom mais romântico de seu predecessor.
O álbum alcançou a posição número 3 na parada Billboard 200, igualando o sucesso de seu primeiro LP. Inclui versões de standards como 'All of Me' e 'I Can't Believe That You're in Love with Me'. A capa mostrava Sinatra sorrindo com um chapéu de aba larga, refletindo o espírito descontraído do disco.
Este álbum foi o segundo de Sinatra pela Capitol e ajudou a estabelecer sua reputação como intérprete de swing. Embora originalmente lançado como um LP de 10 polegadas, foi posteriormente reeditado em formato de 12 polegadas com faixas adicionais. 'Swing Easy!' é considerado um complemento perfeito para 'Songs for Young Lovers'.