Ruffin wurde 78 Jahre alt. Seiner Tochter zufolge war der Sänger im September an einer Lungenentzündung erkrankt. Die Todesursache wurde zunächst nicht bekannt.
Der 1936 im US-Staat Mississippi geborene Musiker war in den frühen 60er Jahren vom berühmten Motown-Plattenlabel in Detroit unter Vertrag genommen worden. Ruffin war der ältere Bruder von David Ruffin (1941-1991), der als „Temptations“-Sänger Karriere machte. Nach seinem Erfolg mit „What Becomes of the Brokenhearted“ landete Jimmy Ruffin mit dem von Robin Gibb geschriebenen Song „Hold on to My Love“ einen weiteren Hit.
Der Sänger lebte zuletzt in Las Vegas. Er hätte noch kurz vor seiner Erkrankung im Herbst Pläne für weitere Auftritte gehabt, sagte seine Tochter.