Le specifiche della geologia del canyon non sono ben comprese, tranne che è una caratteristica erosiva piuttosto che il risultato della glaciazione. Dopo l’eruzione della caldera di circa 600.000 anni fa, l’area fu coperta da una serie di colate di lava. L’area era anche fagliata dall’azione di doming della caldera prima dell’eruzione. Il sito dell’attuale canyon, così come qualsiasi canyon precedente, è stato probabilmente il risultato di questa faglia, che ha permesso all’erosione di procedere ad un ritmo accelerato. L’area fu anche coperta dai ghiacciai che seguirono l’attività vulcanica. I depositi glaciali hanno probabilmente riempito il canyon un tempo, ma da allora sono stati erosi via, lasciando poche o nessuna prova della loro presenza. Il canyon attuale non ha più di 10.000-14.000 anni, anche se probabilmente c’è stato un canyon in questa posizione per un periodo molto più lungo. Il canyon è profondo da 800 a 1.200 piedi e largo da 1.500 a 4.000 piedi.
Il fiume Yellowstone è la forza che ha creato il canyon e le cascate. Inizia alle pendici del Yount Peak, a sud del parco, e viaggia per più di 600 miglia fino al suo termine nel Nord Dakota, dove sfocia nel fiume Missouri. È il più lungo fiume non arginato negli Stati Uniti continentali.
Il canyon sotto le Lower Falls era un tempo il sito di un bacino di geyser che era il risultato di flussi di lava di riolite, estese faglie e calore sotto la superficie (in relazione al punto caldo). Nessuno è sicuro di quando esattamente si sia formato il bacino di geyser nella zona, anche se probabilmente era presente al tempo dell’ultima glaciazione. L’azione chimica e del calore del bacino del geyser ha fatto sì che la roccia riolite si alterasse idrotermicamente, rendendola molto morbida e fragile e più facilmente erodibile (talvolta paragonata alla cottura di una patata). La prova di questa attività termica esiste ancora nel canyon sotto forma di geyser e sorgenti calde che sono ancora attive e visibili. L’area del Clear Lake (il Clear Lake è alimentato da sorgenti calde) a sud del canyon è probabilmente anche un residuo di questa attività.
Secondo Ken Pierce, geologo dell’US Geological Survey, alla fine dell’ultimo periodo glaciale, circa 14.000-18.000 anni fa, si formarono delle dighe di ghiaccio alla bocca dello Yellowstone Lake. Quando le dighe di ghiaccio si sciolsero, un grande volume d’acqua fu rilasciato a valle, causando massicce inondazioni e l’erosione immediata e catastrofica dell’attuale canyon. Queste inondazioni lampo probabilmente sono avvenute più di una volta. Il canyon è una classica valle a forma di V, indicativa di un’erosione di tipo fluviale piuttosto che di glaciazione. Il canyon è ancora eroso dal fiume Yellowstone.
I colori del canyon sono anche il risultato dell’alterazione idrotermale. La riolite nel canyon contiene una varietà di composti di ferro diversi. Quando il vecchio bacino dei geyser era attivo, la “cottura” della roccia ha causato alterazioni chimiche in questi composti di ferro. L’esposizione agli elementi ha fatto sì che le rocce cambiassero colore. Le rocce si stanno, in effetti, ossidando; il canyon si sta arrugginendo. I colori indicano la presenza o l’assenza di acqua nei singoli composti di ferro. La maggior parte dei gialli nel canyon sono il risultato del ferro presente nella roccia piuttosto che dello zolfo, come molti pensano.