Tras el éxito de 'Californication', los Peppers grabaron 'By the Way', nuevamente con la producción de Rubin. El título, 'Por cierto', es una expresión casual que refleja un cambio en la actitud de la banda, ahora más madura y relajada. Frusciante se convirtió en el principal compositor, influenciado por The Beach Boys, y la banda exploró sonidos más melódicos y atmosféricos, dejando de lado el funk por momentos. Las sesiones fueron largas y creativas, con Frusciante grabando coros y arreglos de guitarra complejos.
El sonido de 'By the Way' es el rock melódico, pop y rock alternativo, con menos funk y más guitarra melódica. 'Can't Stop' es un éxito con un riff de guitarra minimalista y una letra sobre la creatividad. 'By the Way' es un tema acelerado con un estribillo pegadizo. 'The Zephyr Song' es una balada psicodélica. 'Dosed' es una canción con varias capas de guitarra. 'Universally Speaking' es un tema pop. Las colaboraciones son internas.
El impacto de 'By the Way' fue otro éxito de ventas (número 2 del Billboard). La crítica fue muy positiva, y la gira fue un éxito. Con el tiempo, es considerado uno de los discos más queridos de la banda, aunque algunos fans echan de menos el funk. Su legado es el de un 'by the way', un giro melódico en la carrera de los Peppers.