Graves è apparso in più di 70 film, show televisivi e film per la televisione durante la sua carriera. Nel 1955, Graves si unì alla serie televisiva della NBC Fury, nel ruolo del rancher e padre single adottivo, Jim Newton. Graves partecipò anche al film del 1953 sulla seconda guerra mondiale, Stalag 17.
Dal 1960 al 1961, Graves interpretò il protagonista Christopher Cobb in 34 episodi della serie televisiva Whiplash. Nella trama, Cobb è un americano che arriva in Australia nel 1850 per stabilire la prima linea di diligenza del paese, usando una frusta piuttosto che una pistola per combattere i criminali che incontra. La serie fu interpretata anche da Anthony Wickert. Graves recitò anche nella serie britannica ITC Court Martial, interpretando l’avvocato dell’esercito degli Stati Uniti, il maggiore Frank Whittaker (uno dei due protagonisti americani della serie, opposto al capitano David Young di Bradford Dillman), oltre a ruoli da ospite in serie come Alfred Hitchcock Presents, Cimarron City, Route 66, e The Invaders (episodio “Moonshot”). Nel 1967, Graves fu reclutato dalla Desilu Studios per sostituire Steven Hill come attore principale in Mission: Impossible. Graves interpretò l’iconico personaggio di Jim Phelps, il direttore a volte burbero della Impossible Missions Force, per le sei stagioni successive della serie. Dopo la fine della serie nel 1973, Graves ha svolto un ruolo di supporto di tipo cameo nel film Sidecar Racers in Australia, uscito nel 1975. Graves fece anche un’apparizione nella soap opera per adolescenti Class of 74 a metà del 1974, interpretando se stesso.
Graves fu scritturato come Palmer Kirby nella miniserie della ABC del 1983, The Winds of War. Recitò al fianco di Robert Mitchum, Jan Michael Vincent, Deborah Winters e Ali MacGraw in quella che divenne, nel 1983, la seconda miniserie più vista di tutti i tempi (dopo Roots). Ha ripreso il ruolo per la miniserie sequel del 1988, War and Remembrance. Durante questo periodo, è diventato il conduttore di Discover: The World of Science, basato sulla rivista Discover.
Dopo aver interpretato ruoli principalmente seri negli anni ’70, è apparso nel ruolo del capitano Clarence Oveur nelle commedie dei primi anni ’80 Airplane! e Airplane II: The Sequel.
Nel 1988, uno sciopero degli sceneggiatori di Hollywood portò alla commissione di una nuova serie Mission: Impossible. Graves fu l’unico membro del cast della serie originale a tornare come regular, riprendendo il suo ruolo di Jim Phelps, anche se altri (in particolare Greg Morris, il cui figlio Phil era un regular in questa versione) fecero delle apparizioni come ospiti. La serie fu girata in Australia, e Graves vi fece il suo terzo viaggio per lavorare come attore. La nuova versione di Mission: Impossible durò per due stagioni, terminando nel 1990. Bookending il suo lavoro su Mission: Impossible, Graves ha recitato in due film pilota chiamati Call to Danger, che erano un tentativo di creare una serie in stile Mission: Impossible in cui Graves interpretava un agente del governo (il Bureau of National Resources) che reclutava civili con talenti speciali per missioni segrete.
La versione 1960 del pilota, secondo Patrick White in The Complete Mission: Impossible Dossier (che White riporta essere stato in realtà il secondo pilota di questo tipo, ma Graves non fu coinvolto nel primo), è accreditato per aver fatto vincere a Graves il ruolo di Phelps; dopo che Mission: Impossible finì nel 1973, Graves girò una terza versione del pilota (questa strutturata come un film per la TV), ma non fu venduta come serie. Il concetto fu poi usato nella breve serie d’avventura degli anni ’80 Masquerade.
Durante gli anni ’90, ha ospitato e narrato la serie di documentari Biography su A&E. Ha anche recitato in un certo numero di film presentati su Mystery Science Theater 3000, che in seguito ha caratterizzato battute in corso sul lavoro di Graves’ Biography e sulla presunta rivalità fraterna con Arness. I film che sono stati presenti su Mystery Science Theater 3000 includono SST: Death Flight, It Conquered the World, Beginning of the End, e Parts: The Clonus Horror. Il film Killers from Space è stato presentato in The Film Crew, il seguito di MST3K di Michael J. Nelson. Graves stesso ha parodiato il suo lavoro di biografia nel film Men in Black II, ospitando uno show televisivo di denuncia. Ha anche interpretato il colonnello John Camden nella serie televisiva 7th Heaven.
Graves ha rifiutato di riprendere il ruolo di Jim Phelps (interpretato da Jon Voight) nel primo film teatrale del 1996 di Mission: Impossible, dopo che il personaggio fu rivelato essere un traditore e il cattivo del film. Nel film, Phelps uccide tre colleghi agenti IMF, e viene ucciso in un incidente in elicottero alla fine, una decisione che ha deluso Graves e i membri del cast, e ha sconvolto molti fan della serie originale.
Il 30 ottobre 2009, Graves è stato onorato con una stella sulla Hollywood Walk of Fame al 6667 di Hollywood Blvd.
AirTran Airways ha presentato Graves in una serie di video “Internetiquette” solo per il web nel 2009 in cui Graves è apparso in uniforme da pilota e fa riferimento a linee classiche di Airplane! I video facevano parte di una campagna di AirTran Airways per promuovere il loro accesso a internet wireless in volo.
Nell’estate del 2009, Graves ha firmato come portavoce per il prestatore di mutui inversi American Advisors Group. Il progetto finale di Graves è stato la narrazione dell’epico gioco per computer Darkstar: The Interactive Movie, uscito il 5 novembre 2010.