Narodil sa 14. apríla 1925 vo Westhamptone v štáte New York a vyrastal ako jedináčik u matky, ktorá prejavovala umelecké sklony. Pracoval v továrni na spracovanie kože, ako zmrzlinár i šofér nákladného auta. V 16 rokoch odišiel dobrovoľne k vojenskému námorníctvu a neskôr bol úradníkom v kancelárii pre demobilizovaných vojakov. S kolegami z oddelenia sa prihlásil do ochotníckeho divadelného súboru a začal študovať herectvo. Na Broadwayi debutoval v roku 1951 úlohou 56-ročného detektíva v hre Nočná hudba. V scénickom prepise Kurosawovho filmu Rašomon (1959) mal za partnerku Claire Bloomovú, s ktorou sa v tom istom roku oženil. Jeho predchádzajúcou manželkou bola herečka Sally Graceová (1952-58), v 70. rokoch bol ženatý so Sherry Nelsonovou. K jeho kľúčovým filmom, po ktorých bol nominovaný na Oscara, patria drámy V prístave (1954) a Záložník (1965). Oscarovú sošku si odniesol v roku 1967 za kriminálny film V žiari noci. Z ďalších filmov: Ruky nad mestom, Doktor Živago, Seržant, Nevinní so špinavými rukami, Januárový muž, Výstrely na sklonku dňa, Hráč, Sused, Špecialista.