그레이는 오하이오 클리브랜드 출생. 배우, 코미디언, 뮤지션으로 어릴 때부터 배우로 클리브랜드플레이하우스에서 활동하였다.

그레이는 브로드웨이 뮤지컬 <Cabaret>에서 MC를 맡아 1966년 토니어워드에서 남우주연상을 수상하였다. 이후 <Come Blow Your Horn, 1961>, <Stop the World - I Want to Get Off, 1962>, <Half a Sixpence, 1965>, <George M!, 1968>, <Goodtime Charley, 1975>, The Grand Tour, 1979>, <Chicago, 1996>, <Wicked, 2003> 등에 출연하였다. 1995년 <Wizard in The Wizard of Oz in Concert: Dreams Come True> 콘서트에 참여하였다.

그레이는 1972년 뮤지컬 영화 <Cabaret>에서 Emcee 역으로 아카데미 어워드 남우조연상을 수상하였다. <The Godfather>로 남우조연상을 수상하였다.