Hester est conduite à l’échafaud, où elle doit être déshonorée publiquement pour avoir commis l’adultère. Hester est contrainte de porter en permanence la lettre A sur sa robe. Elle a cousu un grand A écarlate sur sa robe avec du fil d’or, ce qui donne à la lettre un air d’élégance. Hester porte Pearl, sa fille, avec elle. Sur l’échafaud, on lui demande de révéler le nom du père de Pearl, mais elle refuse. Dans la foule, Hester reconnaît son mari d’Amsterdam, Roger Chillingworth.
Chillingworth rend visite à Hester après son retour à la prison. Il lui dit qu’il découvrira qui était l’homme et qu’il lira la vérité sur le cœur de l’homme. Chillingworth la force ensuite à promettre de ne jamais révéler sa véritable identité de mari cocu.
Hester s’installe dans un cottage en bordure de forêt. Pearl et elle y vivent dans une relative solitude. Hester gagne son argent en faisant de la couture pour les dignitaires locaux, mais elle passe souvent son temps à aider les pauvres et les malades. Pearl grandit en étant sauvage, refusant même d’obéir à sa mère.
Roger Chillingworth gagne une réputation de bon médecin. Il utilise sa réputation pour être transféré dans la même maison qu’Arthur Dimmesdale, un pasteur souffrant. Chillingworth finit par découvrir que Dimmesdale est le véritable père de Pearl, il passe alors tous ses moments à essayer de tourmenter le pasteur. Une nuit, Dimmesdale est tellement accablé par la honte d’avoir caché son secret qu’il se rend à l’échafaud où Hester a été humiliée publiquement. Il se tient sur l’échafaud et imagine que toute la ville le regarde avec une lettre inscrite sur sa poitrine. Alors qu’il se tient là, Hester et Pearl arrivent. Il leur demande de se tenir à ses côtés, ce qu’elles font. Pearl lui demande ensuite de se tenir avec elle le lendemain à midi.
Lorsqu’un météore illumine les trois personnes debout sur l’échafaud, elles voient Roger Chillingworth qui les observe. Dimmesdale dit à Hester qu’il est terrifié par Chillingworth, qui propose à Dimmesdale de le ramener chez lui. Hester se rend compte que Chillingworth est en train de tuer Dimmesdale à petit feu et qu’elle doit aider Dimmesdale.
Quelques semaines plus tard, Hester voit Chillingworth cueillir des herbes dans les bois. Elle lui annonce qu’elle va révéler le fait qu’il est son mari à Dimmesdale. Il lui répond que la Providence est désormais en charge de leurs destins et qu’elle peut agir comme bon lui semble. Hester emmène Pearl dans les bois, où elles attendent l’arrivée de Dimmesdale. Celui-ci est surpris de les voir, mais il avoue à Hester qu’il cherche désespérément un ami qui connaît son secret. Elle le réconforte et lui révèle la véritable identité de Chillingworth. Il est furieux mais accepte finalement qu’ils s’enfuient ensemble. Il revient en ville avec plus d’énergie qu’il n’en a jamais montré auparavant.
Hester trouve un bateau qui les transportera tous les trois, et il se trouve que le bateau doit prendre la mer le lendemain du sermon d’élection de Dimmesdale. Mais le jour du sermon, Chillingworth persuade le capitaine du navire de l’embarquer également. Hester ne sait pas comment se sortir de ce dilemme.
Dimmesdale prononce son sermon d’élection, et il reçoit les plus grands éloges de toutes les prédications qu’il a effectuées. Il se dirige alors inopinément vers l’échafaud et y monte, à la vue des masses rassemblées. Dimmesdale appelle Hester et Pearl pour qu’elles viennent le rejoindre. Chillingworth tente de l’en empêcher, mais Dimmesdale rit et lui dit qu’il ne peut pas gagner.
Hester et Pearl rejoignent Dimmesdale sur l’échafaud. Dimmesdale dit alors au peuple qu’il est aussi un pécheur comme Hester, et qu’il aurait dû prendre sa place légitime à ses côtés plus de sept ans auparavant. Il déchire alors sa chemise pour révéler une lettre écarlate sur sa chair. Dimmesdale tombe à genoux et meurt sur l’échafaud.
Hester et Pearl quittent la ville pour un temps, et plusieurs années plus tard, Hester revient. Personne n’entend plus parler de Pearl, mais on suppose qu’elle s’est mariée et a eu des enfants en Europe. Hester n’enlève jamais sa lettre écarlate, et lorsqu’elle décède, elle est enterrée à l’emplacement de la chapelle du roi.
La lettre écarlate n’est jamais enlevée.