Jeff Ballard creció en Santa Cruz, California. A los veinticinco comenzó a tocar con Ray Charles, una etapa de su carrera que duró tres años. Luego se muda a New York, donde se vincula con los músicos del movimiento like-minded como Kurt Rosenwinkel, Mark Turner, Brad Mehldau, Avishai Cohen, Guillermo Klein, Larry Grenadier, Ben Allison y muchos otros.
En la actualidad comparte escenarios con Meldhau, Chick Corea y Joshua Redman. Es también el co-fundador de Fly, un trío que compone junto a Mark Turner y Larry Grenadier.