Seinem Anwalt Jay Julien zufolge litt der Schauspieler an Bauchspeicheldrüsenkrebs. Seit 1982 war Gazzara in dritter Ehe mit dem früheren deutschen Model Elke Stuckmann verheiratet.

Nach Broadway-Auftritten, darunter in Elia Kazans „Die Katze auf dem heißen Blechdach“ (1955), spielte Gazzara 1959 an der Seite von James Stewart in Otto Premingers „Anatomie eines Mordes“ mit. John Cassavettes holte ihn drei Mal vor die Kamera, darunter in „Husbands - Ehemänner“ und „Die Ermordung eines chinesischen Buchmachers“. Peter Bogdanovich setzte ihn in den Filmen „Saint Jack“ und an der Seite von Audrey Hepburn in der Komödie „Sie haben alle gelacht“ ein.

Zu seinen weiteren Filmen zählen das Kriegsdrama „Die Brücke von Remagen“, Vincent Gallos Regiedebüt „Buffalo 66“, „The Big Lebowski“, „Die Thomas Crown Affäre“ und „Ein todsicheres Geschäft“ vom deutschen Regisseur Matthias X. Oberg.

In den letzten Jahren war Gazzara mit Nicole Kidman in Lars von Triers „Dogville“ (2003) und in dem Episodenfilm „Paris je t'aime“ (2006) zu sehen. Der in New York geborene Sohn italienischer Einwanderer hatte sein Handwerk in dem legendären „Actors Studio“ von Schauspiellehrer Lee Strasberg gelernt.