Hester viene condotta al patibolo, dove verrà svergognata pubblicamente per aver commesso adulterio. Hester è costretta a portare sempre la lettera A sul suo abito. Ha cucito una grande A scarlatta sul suo vestito con filo d’oro, dando alla lettera un’aria di eleganza. Hester porta con sé Pearl, sua figlia. Sul patibolo le viene chiesto di rivelare il nome del padre di Pearl, ma lei rifiuta. Tra la folla Hester riconosce il marito di Amsterdam, Roger Chillingworth.
Chillingworth fa visita a Hester dopo che lei è tornata in prigione. Le dice che scoprirà chi era l’uomo e leggerà la verità sul suo cuore. Chillingworth la costringe poi a promettere di non rivelare mai la sua vera identità di marito cornuto.
Hester si trasferisce in un cottage che confina con il bosco. Lei e Pearl vivono lì in relativa solitudine. Hester si guadagna da vivere facendo lavori di cucito per i dignitari locali, ma spesso passa il suo tempo ad aiutare i poveri e i malati. Pearl cresce come una selvaggia, rifiutando persino di obbedire a sua madre.
Roger Chillingworth si guadagna la reputazione di buon medico. Usa la sua reputazione per farsi trasferire nella stessa casa di Arthur Dimmesdale, un ministro malato. Chillingworth alla fine scopre che Dimmesdale è il vero padre di Pearl, a quel punto passa ogni momento a cercare di tormentare il ministro. Una notte Dimmesdale è così sopraffatto dalla vergogna per aver nascosto il suo segreto che si reca al patibolo dove Hester è stata umiliata pubblicamente. Sta in piedi sul patibolo e immagina che l’intera città lo guardi con una lettera incisa sul petto. Mentre si trova lì, arrivano Hester e Pearl. Lui chiede loro di stare con lui, cosa che fanno. Pearl gli chiede poi di stare con lei il giorno dopo a mezzogiorno.
Quando una meteora illumina le tre persone in piedi sul patibolo, vedono Roger Chillingworth che li osserva. Dimmesdale dice a Hester di essere terrorizzato da Chillingworth, che si offre di portare Dimmesdale a casa. Hester si rende conto che Chillingworth sta lentamente uccidendo Dimmesdale e che deve aiutare Dimmesdale.
Alcune settimane dopo, Hester vede Chillingworth che raccoglie erbe nel bosco. Gli dice che sta per rivelare a Dimmesdale che lui è suo marito. Lui le dice che la Provvidenza è ora responsabile dei loro destini, e che lei può fare ciò che ritiene opportuno. Hester porta Pearl nel bosco, dove aspettano l’arrivo di Dimmesdale. Lui è sorpreso di vederli, ma confessa a Hester di essere alla disperata ricerca di un amico che conosca il suo segreto. Lei lo conforta e gli racconta la vera identità di Chillingworth. Lui è furioso ma alla fine accetta che scappino insieme. Torna in città con più energia di quanta ne abbia mai mostrata prima.
Hester trova una nave che li trasporterà tutti e tre, e si scopre che la nave deve salpare il giorno dopo che Dimmesdale fa il suo sermone per l’elezione. Ma il giorno del sermone, Chillingworth convince il capitano della nave a prendere a bordo anche lui. Hester non sa come uscire da questo dilemma.
Dimmesdale tiene il suo Sermone dell’Elezione, e riceve i più alti riconoscimenti di qualsiasi predicazione che abbia mai fatto. Poi inaspettatamente cammina verso il patibolo e vi sta sopra, in piena vista delle masse riunite. Dimmesdale chiama Hester e Pearl per andare da lui. Chillingworth cerca di fermarlo, ma Dimmesdale ride e gli dice che non può vincere.
Hester e Pearl raggiungono Dimmesdale sul patibolo. Dimmesdale poi dice alla gente che anche lui è un peccatore come Hester, e che avrebbe dovuto assumere il suo legittimo posto al suo fianco più di sette anni prima. Poi si strappa la camicia per rivelare una lettera scarlatta sulla sua carne. Dimmesdale cade in ginocchio e muore sul patibolo.
Hester e Pearl lasciano la città per un po’, e diversi anni dopo Hester ritorna. Nessuno ha più notizie di Pearl, ma si presume che si sia sposata e abbia avuto dei figli in Europa. Hester non si toglie mai la lettera scarlatta, e quando muore viene sepolta nel sito della Cappella del Re.