Los detalles de la geología del cañón no se conocen bien, salvo que se trata de un rasgo erosivo más que el resultado de la glaciación. Tras la erupción de la caldera hace unos 600.000 años, la zona quedó cubierta por una serie de flujos de lava. La zona también se vio afectada por la acción del domo de la caldera antes de la erupción. El emplazamiento del cañón actual, así como el de los cañones anteriores, fue probablemente el resultado de esta falla, que permitió que la erosión avanzara a un ritmo acelerado. La zona también fue cubierta por los glaciares que siguieron a la actividad volcánica. Los depósitos glaciares probablemente llenaron el cañón en su momento, pero desde entonces se han erosionado, dejando poca o ninguna evidencia de su presencia. El cañón actual no tiene más de 10.000 a 14.000 años de antigüedad, aunque es probable que haya existido un cañón en este lugar durante mucho más tiempo. El cañón tiene entre 800 y 1.200 pies de profundidad y entre 1.500 y 4.000 pies de ancho.
El río Yellowstone es la fuerza que creó el cañón y las cataratas. Comienza en las laderas del Pico Yount, al sur del parque, y recorre más de 600 millas hasta su final en Dakota del Norte, donde desemboca en el río Missouri. Es el río sin represa más largo de los Estados Unidos continentales.
El cañón que se encuentra debajo de las cataratas inferiores fue en su momento el lugar de una cuenca de géiseres que fue el resultado de los flujos de lava de riolita, las extensas fallas y el calor bajo la superficie (relacionado con el punto caliente). No se sabe con exactitud cuándo se formó la cuenca de géiseres en la zona, aunque probablemente estaba presente en la época de la última glaciación. La acción química y térmica de la cuenca de los géiseres provocó la alteración hidrotermal de la roca riolítica, haciéndola muy blanda y quebradiza y más fácilmente erosionable (a veces comparada con la cocción de una patata). Las pruebas de esta actividad térmica siguen existiendo en el cañón en forma de géiseres y fuentes termales que siguen activos y visibles. La zona de Clear Lake (el lago Clear se alimenta de aguas termales) al sur del cañón es probablemente también un remanente de esta actividad.
Según Ken Pierce, geólogo del Servicio Geológico de Estados Unidos, al final del último período glacial, hace unos 14.000 a 18.000 años, se formaron presas de hielo en la boca del lago Yellowstone. Cuando las presas de hielo se derritieron, se liberó un gran volumen de agua río abajo, lo que provocó enormes inundaciones repentinas y la inmediata y catastrófica erosión del actual cañón. Estas inundaciones repentinas probablemente ocurrieron más de una vez. El cañón es un clásico valle en forma de V, indicativo de una erosión de tipo fluvial más que de una glaciación. El cañón sigue siendo erosionado por el río Yellowstone.
Los colores del cañón son también el resultado de la alteración hidrotermal. La riolita del cañón contiene una variedad de compuestos de hierro diferentes. Cuando la antigua cuenca de géiseres estaba activa, la «cocción» de la roca provocó alteraciones químicas en estos compuestos de hierro. La exposición a los elementos hizo que las rocas cambiaran de color. En efecto, las rocas se están oxidando; el cañón se está oxidando. Los colores indican la presencia o ausencia de agua en los compuestos de hierro individuales. La mayoría de los amarillos del cañón son el resultado del hierro presente en la roca y no del azufre, como mucha gente piensa.