Graves apareció en más de 70 películas, programas de televisión y telefilmes durante su carrera. En 1955, Graves se incorporó a la serie de televisión de la NBC Fury, como el ranchero y padre soltero adoptivo, Jim Newton. Graves también apareció en la película de la Segunda Guerra Mundial de 1953, Stalag 17.
De 1960 a 1961, Graves protagonizó el personaje principal Christopher Cobb en 34 episodios de la serie de televisión Whiplash. En el argumento, Cobb es un estadounidense que llega a Australia en la década de 1850 para establecer la primera línea de diligencias del país, utilizando un látigo en lugar de una pistola para luchar contra los ladrones que encuentra. La serie también fue protagonizada por Anthony Wickert. Graves también protagonizó la serie británica de la ITC Court Martial, interpretando al mayor Frank Whittaker, abogado del ejército estadounidense (uno de los dos protagonistas estadounidenses de la serie, frente al capitán David Young de Bradford Dillman), así como papeles de invitado en series como Alfred Hitchcock Presents, Cimarron City, Route 66 y The Invaders (episodio «Moonshot»). En 1967, Graves fue contratado por los estudios Desilu para sustituir a Steven Hill como actor principal en Misión: Imposible. Graves interpretó el icónico personaje de Jim Phelps, el a veces malhumorado director de la Fuerza de Misiones Imposibles, durante las seis temporadas siguientes de la serie. Tras el final de la serie en 1973, Graves interpretó un papel de apoyo tipo cameo en el largometraje Sidecar Racers in Australia, que se estrenó en 1975. Graves también hizo una aparición como invitado en la telenovela para adolescentes Class of 74 a mediados de 1974, interpretándose a sí mismo.
Graves fue elegido para interpretar a Palmer Kirby en la miniserie de la ABC de 1983, The Winds of War. Actuó junto a Robert Mitchum, Jan Michael Vincent, Deborah Winters y Ali MacGraw en lo que se convirtió en 1983 en la segunda miniserie más vista de todos los tiempos (después de Roots). Volvió a interpretar el papel para la miniserie secuela de 1988, War and Remembrance. Durante este tiempo, se convirtió en el presentador de Discover: The World of Science, de la PBS, basado en la revista Discover.
Después de interpretar principalmente papeles serios en la década de 1970, apareció como el capitán Clarence Oveur en las comedias de principios de la década de 1980 Airplane! y Airplane II: The Sequel.
En 1988, una huelga de guionistas de Hollywood hizo que se encargara una nueva serie de Misión: Imposible. Graves fue el único miembro del reparto de la serie original que regresó como regular, retomando su papel de Jim Phelps, aunque otros (sobre todo Greg Morris, cuyo hijo Phil fue regular en esta versión) hicieron apariciones como invitados. La serie se rodó en Australia, y Graves realizó su tercer viaje allí para trabajar como actor. La nueva versión de Misión: Imposible duró dos temporadas y terminó en 1990. Además de su trabajo en Misión: Imposible, Graves protagonizó dos películas piloto llamadas Call to Danger, que eran un intento de crear una serie al estilo de Misión: Imposible en la que Graves interpretaba a un agente del gobierno (la Oficina de Recursos Nacionales) que reclutaba civiles con talentos especiales para misiones secretas.
.
La versión de los años 60 del piloto, según Patrick White en The Complete Mission: Impossible Dossier (que, según White, fue en realidad el segundo piloto de este tipo, pero Graves no participó en el primero), se atribuye a Graves el papel de Phelps; después de que Misión: Imposible terminó en 1973, Graves filmó una tercera versión del piloto (esta vez estructurada como una película hecha para la televisión), pero no se vendió como serie. El concepto se utilizó más tarde en la breve serie de aventuras de la década de 1980 Masquerade.
Durante la década de 1990, presentó y narró la serie documental Biography en A&E. También actuó en una serie de películas presentadas en Mystery Science Theater 3000, en las que posteriormente se hicieron bromas sobre el trabajo de Graves en Biography y la presunta rivalidad entre hermanos con Arness. Entre las películas que han aparecido en Mystery Science Theater 3000 se encuentran SST: Death Flight, It Conquered the World, Beginning of the End y Parts: The Clonus Horror. La película Killers from Space apareció en The Film Crew, la continuación de Michael J. Nelson de MST3K. El propio Graves parodió su trabajo en Biography en la película Men in Black II, presentando un programa de televisión de denuncia. También interpretó al coronel John Camden en la serie de televisión 7th Heaven.
Graves se negó a repetir el papel de Jim Phelps (interpretado por Jon Voight) en la primera película teatral de 1996 de Mission: Imposible, después de que se revelara que el personaje era un traidor y el villano de la película. En la película, Phelps asesina a tres compañeros de la FMI, y muere en un accidente de helicóptero al final, una decisión que decepcionó a Graves y a sus compañeros de reparto, y que molestó a muchos fans de la serie original.
El 30 de octubre de 2009, Graves fue honrado con una estrella en el Paseo de la Fama de Hollywood, en el 6667 de Hollywood Blvd.
AirTran Airways presentó a Graves en una serie de vídeos de «Internetiquette» en 2009 en los que Graves aparecía con un uniforme de piloto y hacía referencia a frases clásicas de ¡Airplane! Los vídeos formaban parte de una campaña de AirTran Airways para promocionar su acceso inalámbrico a Internet en los vuelos.
En el verano de 2009, Graves firmó como portavoz del prestamista de hipotecas inversas American Advisors Group. El último proyecto de Graves fue narrar la epopeya del juego de ordenador Darkstar: La Película Interactiva, estrenada el 5 de noviembre de 2010.