Tony Bennett grabó 'The Beat of My Heart' en los estudios Columbia de Nueva York entre agosto y septiembre de 1957. El álbum fue producido por Mitch Miller, quien buscó un enfoque rítmico innovador para la época.
El disco se caracteriza por el uso prominente de percusión y batería, con arreglos del propio Bennett y del percusionista Chico Hamilton. Incluye colaboraciones de músicos como Art Blakey, Jo Jones y Candido Camero, lo que le da un sonido único de jazz y bossa nova incipiente.
El álbum alcanzó el puesto número 8 en la lista Billboard 200 y fue uno de los primeros trabajos de Bennett en explorar ritmos latinos y africanos. La canción 'Crazy Rhythm' se convirtió en un éxito menor, y el disco es considerado un hito en la fusión de jazz vocal con percusión experimental.