Les spécificités de la géologie du canyon ne sont pas bien comprises, si ce n’est qu’il s’agit d’une caractéristique d’érosion plutôt que le résultat d’une glaciation. Après l’éruption de la caldeira, il y a environ 600 000 ans, la zone a été recouverte par une série de coulées de lave. La zone a également été faillée par l’action de domification de la caldeira avant l’éruption. L’emplacement du canyon actuel, ainsi que de tous les canyons précédents, est probablement le résultat de cette faille, qui a permis à l’érosion de se poursuivre à un rythme accéléré. La région a également été recouverte par les glaciers qui ont suivi l’activité volcanique. Les dépôts glaciaires ont probablement rempli le canyon à une certaine époque, mais ils ont depuis été érodés, laissant peu ou pas de traces de leur présence. Le canyon actuel n’a pas plus de 10 000 à 14 000 ans, bien qu’il y ait probablement eu un canyon à cet endroit pendant une période beaucoup plus longue. Le canyon a une profondeur de 800 à 1 200 pieds et une largeur de 1 500 à 4 000 pieds.
La rivière Yellowstone est la force qui a créé le canyon et les chutes. Elle prend naissance sur les pentes du pic Yount, au sud du parc, et parcourt plus de 600 miles jusqu’à son terminus dans le Dakota du Nord, où elle se jette dans le fleuve Missouri. C’est le plus long fleuve non endigué de la partie continentale des États-Unis.
Le canyon situé en dessous des chutes inférieures était à une époque le site d’un bassin de geysers qui résultait de coulées de lave rhyolitique, de failles importantes et de chaleur sous la surface (liée au point chaud). Personne ne sait exactement quand le bassin geyser s’est formé dans la région, mais il était probablement présent à l’époque de la dernière glaciation. L’action chimique et thermique du bassin du geyser a provoqué une altération hydrothermique de la roche rhyolite, la rendant très molle et cassante et plus facilement érodable (parfois comparée à la cuisson d’une pomme de terre). Les preuves de cette activité thermique existent toujours dans le canyon sous la forme de geysers et de sources chaudes qui sont toujours actifs et visibles. La zone du lac Clear (le lac Clear est alimenté par des sources chaudes) au sud du canyon est probablement aussi un vestige de cette activité.
Selon Ken Pierce, géologue de l’US Geological Survey, à la fin de la dernière période glaciaire, il y a environ 14 000 à 18 000 ans, des barrages de glace se sont formés à l’embouchure du lac Yellowstone. Lorsque les barrages de glace ont fondu, un grand volume d’eau a été libéré en aval, provoquant des crues soudaines et massives et une érosion immédiate et catastrophique du canyon actuel. Ces crues soudaines se sont probablement produites plusieurs fois. Le canyon est une vallée en forme de V classique, ce qui indique une érosion de type fluvial plutôt qu’une glaciation. Le canyon est toujours érodé par la rivière Yellowstone.
Les couleurs du canyon sont également le résultat d’une altération hydrothermale. La rhyolite du canyon contient une variété de différents composés de fer. Lorsque le bassin de l’ancien geyser était actif, la « cuisson » de la roche a provoqué des altérations chimiques de ces composés de fer. L’exposition aux éléments a fait changer la couleur des roches. En fait, les roches s’oxydent et le canyon rouille. Les couleurs indiquent la présence ou l’absence d’eau dans les différents composés de fer. La plupart des jaunes dans le canyon sont le résultat du fer présent dans la roche plutôt que du soufre, comme beaucoup de gens le pensent.
.