I Get Lonely in a Hurry foi lançado em 1964 pela United Artists, produzido por Pappy Daily. O álbum recebe o nome da faixa-título, uma balada country que reflete o tema recorrente da solidão na obra de George Jones.
Gravado em Nashville, Tennessee, o álbum inclui uma seleção de canções que abordam desgosto e melancolia, com arranjos típicos do country da época. Jones trabalhou com músicos de sessão de Nashville para obter um som polido.
Embora não tenha alcançado as paradas de sucesso de forma destacada, o álbum é valorizado por colecionadores por sua qualidade vocal e coesão temática. A capa mostra Jones em um ambiente noturno, evocando a atmosfera de solidão do título.