Tony Bennett gravou 'The Beat of My Heart' nos estúdios Columbia em Nova York entre agosto e setembro de 1957. O álbum foi produzido por Mitch Miller, que buscou uma abordagem rítmica inovadora para a época.
O disco é caracterizado pelo uso proeminente de percussão e bateria, com arranjos do próprio Bennett e do percussionista Chico Hamilton. Inclui colaborações com músicos como Art Blakey, Jo Jones e Candido Camero, conferindo-lhe um som único de jazz e bossa nova incipiente.
O álbum alcançou a posição 8 na parada Billboard 200 e foi um dos primeiros trabalhos de Bennett a explorar ritmos latinos e africanos. A canção 'Crazy Rhythm' tornou-se um sucesso menor, e o disco é considerado um marco na fusão do jazz vocal com percussão experimental.