Hester está a ser levado para o andaime, onde será publicamente envergonhado por ter cometido adultério. Hester é forçada a usar sempre a letra A no seu vestido. Ela coseu uma grande escarlate A no seu vestido com fio dourado, dando à letra um ar de elegância. Hester carrega consigo Pearl, a sua filha. No cadafalso é-lhe pedido que revele o nome do pai de Pearl, mas ela recusa-se. Na multidão, Hester reconhece o seu marido de Amesterdão, Roger Chillingworth.
Chillingworth visita Hester depois de ela ser devolvida à prisão. Ele diz-lhe que vai descobrir quem era o homem, e que vai ler a verdade sobre o coração do homem. Chillingworth obriga-a então a prometer nunca revelar a sua verdadeira identidade como seu marido cornudo.
Hester muda-se para uma casa de campo que beira o bosque. Ela e Pearl vivem lá em relativa solidão. Hester ganha o seu dinheiro fazendo trabalhos de costura para dignitários locais, mas passa frequentemente o seu tempo a ajudar os pobres e doentes. Pearl cresce para ser selvagem, recusando-se mesmo a obedecer à sua mãe.
Roger Chillingworth ganha uma reputação de bom médico. Ele usa a sua reputação para ser transferido para a mesma casa que Arthur Dimmesdale, um ministro em dificuldades. Chillingworth acaba por descobrir que Dimmesdale é o verdadeiro pai de Pearl, altura em que ele passa cada momento a tentar atormentar o ministro. Uma noite Dimmesdale está tão envergonhado por esconder o seu segredo que caminha para o cadafalso onde Hester foi publicamente humilhado. Ele fica no andaime e imagina a cidade inteira a observá-lo com uma carta brasonada no seu peito. Enquanto lá estava, Hester e Pearl chegam. Ele pede-lhes que fiquem com ele, o que eles fazem. Pearl pede-lhe então para estar com ela no dia seguinte, ao meio-dia.
Quando um meteoro ilumina as três pessoas de pé no andaime, elas vêem Roger Chillingworth a observá-los. Dimmesdale diz a Hester que está aterrorizado com Chillingworth, que se oferece para levar Dimmesdale para casa. Hester percebe que Chillingworth está lentamente a matar Dimmesdale e que ela tem de ajudar Dimmesdale.
Poucas semanas depois, Hester vê Chillingworth a apanhar ervas na floresta. Ela diz-lhe que vai revelar o facto de que ele é seu marido a Dimmesdale. Ele diz-lhe que a Providence está agora encarregue dos seus destinos, e ela pode fazer o que achar melhor. Hester leva Pearl para o bosque, onde esperam a chegada de Dimmesdale. Ele fica surpreendido ao vê-los, mas confessa a Hester que está desesperado por um amigo que conhece o seu segredo. Ela conforta-o e diz-lhe a verdadeira identidade de Chillingworth. Ele está furioso, mas finalmente concorda que eles devem fugir juntos. Ele regressa à cidade com mais energia do que alguma vez demonstrou antes.
Hester encontra um navio que transportará os três, e conclui-se que o navio deverá navegar no dia seguinte ao Sermão de Eleição de Dimmesdale. Mas no dia do sermão, Chillingworth persuade o capitão do navio a levá-lo também a bordo. Hester não sabe como sair deste dilema.
Dimmesdale dá o seu Sermão Eleitoral, e recebe os mais altos elogios de qualquer pregação que alguma vez tenha feito. Depois, inesperadamente, caminha para o cadafalso e fica sobre ele, em plena vista das massas reunidas. Dimmesdale chama Hester e Pearl para virem ter com ele. Chillingworth tenta impedi-lo, mas Dimmesdale ri-se e diz-lhe que não pode vencer.
Hester e Pearl juntam-se a Dimmesdale no cadafalso. Dimmesdale diz então ao povo que é também um pecador como Hester, e que ele deveria ter assumido o seu legítimo lugar ao lado dela mais de sete anos antes. Ele rasga então a sua camisa para revelar uma carta escarlate na sua carne. Dimmesdale cai de joelhos e morre no cadafalso.
Hester e Pearl deixam a cidade por algum tempo, e vários anos mais tarde Hester regressa. Ninguém mais ouve falar de Pearl, mas presume-se que ela tenha casado e tido filhos na Europa. Hester nunca remove a sua carta escarlate, e quando falece é enterrada no local da Capela do Rei.