Graves est apparu dans plus de 70 films, émissions de télévision et téléfilms au cours de sa carrière. En 1955, Graves rejoint la série télévisée Fury de NBC, dans le rôle de l’éleveur et père célibataire adoptif, Jim Newton. Graves a également joué dans le film de 1953 sur la Seconde Guerre mondiale, Stalag 17.
De 1960 à 1961, Graves a joué le rôle du personnage principal Christopher Cobb dans 34 épisodes de la série télévisée Whiplash. Dans l’intrigue, Cobb est un Américain qui arrive en Australie dans les années 1850 pour établir la première ligne de diligence du pays, utilisant un fouet plutôt qu’une arme à feu pour combattre les escrocs qu’il rencontre. La série mettait également en vedette Anthony Wickert. Graves a également joué dans la série britannique ITC Court Martial, dans le rôle du Major Frank Whittaker, avocat de l’armée américaine (l’un des deux rôles principaux américains de la série, face au Capitaine David Young de Bradford Dillman), ainsi que des rôles invités dans des séries telles que Alfred Hitchcock Presents, Cimarron City, Route 66, et The Invaders (épisode « Moonshot »). En 1967, Graves est recruté par les studios Desilu pour remplacer Steven Hill comme acteur principal de Mission : Impossible. Graves incarne le personnage emblématique de Jim Phelps, le directeur parfois grincheux de la Force des missions impossibles, pendant les six saisons suivantes de la série. Après la fin de la série en 1973, Graves a joué un rôle de soutien de type camée dans le long métrage Sidecar Racers en Australie qui est sorti en 1975. Graves a également fait une apparition dans le feuilleton pour adolescents Class of 74 à la mi-1974, en jouant son propre rôle.
Graves a obtenu le rôle de Palmer Kirby dans la mini-série ABC de 1983, The Winds of War. Il joua aux côtés de Robert Mitchum, Jan Michael Vincent, Deborah Winters et Ali MacGraw dans ce qui devint en 1983, la deuxième mini-série la plus regardée de tous les temps (après Roots). Il a repris le rôle pour la mini-série de 1988, War and Remembrance. Pendant ce temps, il devient l’animateur de l’émission Discover : The World of Science, basée sur le magazine Discover.
Après avoir joué principalement des rôles sérieux dans les années 1970, il est apparu dans le rôle du capitaine Clarence Oveur dans les comédies du début des années 1980 Airplane ! et Airplane II : The Sequel.
En 1988, une grève des scénaristes d’Hollywood a entraîné la commande d’une nouvelle série Mission : Impossible a été commandée. Graves était le seul membre du casting de la série originale à revenir en tant que régulier, reprenant son rôle de Jim Phelps, bien que d’autres (notamment Greg Morris, dont le fils Phil était régulier dans cette version) aient fait des apparitions en tant qu’invités. La série a été tournée en Australie, et Graves s’y est rendu pour la troisième fois pour travailler comme acteur. La nouvelle version de Mission : Impossible a duré deux saisons et s’est terminée en 1990. En marge de son travail dans Mission : Impossible, Graves a joué dans deux films pilotes intitulés Call to Danger, qui étaient une tentative de créer une série de type Mission : Impossible dans laquelle Graves jouait un agent du gouvernement (le Bureau des ressources nationales) qui recrutait des civils aux talents particuliers pour des missions secrètes.
.
La version du pilote des années 1960, selon Patrick White dans The Complete Mission : Impossible Dossier (qui, selon White, était en fait le deuxième pilote de ce type, mais Graves n’a pas participé au premier), est créditée d’avoir fait gagner à Graves le rôle de Phelps ; après que Mission : Impossible s’est terminée en 1973, Graves a tourné une troisième version du pilote (cette fois structurée comme un film pour la télévision), mais elle n’a pas été vendue en tant que série. Le concept a ensuite été utilisé dans la brève série d’aventure des années 1980 Masquerade.
Durant les années 1990, il a animé et narré la série documentaire Biography sur A&E. Il a également joué dans un certain nombre de films présentés dans l’émission Mystery Science Theater 3000, qui a par la suite présenté des blagues récurrentes sur le travail de Biographie de Graves et la rivalité fraternelle présumée avec Arness. Les films qui ont été présentés dans Mystery Science Theater 3000 comprennent SST : Death Flight, It Conquered the World, Beginning of the End, et Parts : The Clonus Horror. Le film Killers from Space a été présenté dans The Film Crew, la suite de MST3K de Michael J. Nelson. Graves lui-même a parodié son travail de biographie dans le film Men in Black II, en animant une émission télévisée d’exposé. Il a également joué le rôle du colonel John Camden dans la série télévisée 7th Heaven.
Graves a refusé de reprendre le rôle de Jim Phelps (joué par Jon Voight) dans le premier film en salles de 1996 de Mission : Impossible, après que le personnage ait été révélé comme étant un traître et le méchant du film. Dans le film, Phelps assassine trois collègues agents du FMI, et est tué dans un accident d’hélicoptère à la fin, une décision qui a déçu Graves et les autres membres du casting, et a contrarié de nombreux fans de la série originale.
Le 30 octobre 2009, Graves a été honoré d’une étoile sur le Hollywood Walk of Fame, au 6667 Hollywood Blvd.
AirTran Airways a présenté Graves dans une série de vidéos « Internetiquette » en 2009, uniquement sur le web, dans lesquelles Graves apparaît dans un uniforme de pilote et fait référence à des répliques classiques d’Airplane ! Les vidéos faisaient partie d’une campagne d’AirTran Airways pour promouvoir leur accès à l’Internet sans fil en vol.
À l’été 2009, Graves a signé en tant que porte-parole du prêteur d’hypothèques inversées American Advisors Group. Le dernier projet de Graves a été la narration de l’épopée du jeu vidéo Darkstar : The Interactive Movie, qui est sorti le 5 novembre 2010.