'Pony Blues' fue grabado en las mismas sesiones históricas de 1929 que 'Screamin' and Hollerin' the Blues', y se convirtió en uno de los temas más famosos de Patton y del delta blues. La canción cuenta la historia de un hombre que pierde su caballo (una metáfora de la libertad y el trabajo) y se ve obligado a caminar, una alegoría de la vida dura del campesino negro en el sur segregado. Las sesiones fueron rápidas y efectivas: Patton llegó, afinó su guitarra, bebió un trago de whisky, y grabó la canción en una o dos tomas. El productor Arthur Laibly supo reconocer la magia y no interfirió en la interpretación.
El sonido de 'Pony Blues' es delta blues en estado puro, con un ritmo de guitarra contagioso que imita el trote de un caballo. Patton utiliza la técnica del 'slapping' (golpear las cuerdas con la palma de la mano) para crear un efecto de percusión que imita el galope, y su voz grave y rasposa narra la historia con una mezcla de humor y desesperación. La letra simple, de frases cortas y repetitivas, es una de las primeras muestras de la poesía del blues, donde cada palabra pesa más que un ladrillo. 'I'm goin' to the stable, I'm goin' to ride my pony no more', canta Patton, como despidiéndose de una parte de su vida. No hay colaboraciones, solo Patton, su guitarra y su bota golpeando el suelo para marcar el ritmo. La grabación es lo-fi, con un sonido metálico y comprimido, pero eso le da un encanto único, como si se escuchara desde la otra orilla del río Mississippi.
El impacto de 'Pony Blues' fue inmediato entre los aficionados al blues de la época, y la canción se convirtió en un estándar del género, versionada por Howlin' Wolf, Bob Dylan, y muchos otros. La crítica ha señalado esta canción como uno de los mejores ejemplos del estilo de Patton: la combinación de la técnica de guitarra, la potencia vocal y la economía lírica. Con el tiempo, 'Pony Blues' se ha convertido en un himno del delta blues, una de esas canciones que encapsulan todo un género en tres minutos. Su legado es el de una pequeña obra maestra que sigue inspirando a músicos de todo el mundo, un pony que no deja de galopar a través de las décadas.