Hester está siendo conducida al cadalso, donde va a ser avergonzada públicamente por haber cometido adulterio. Hester es obligada a llevar la letra A en su vestido en todo momento. Ha cosido una gran A escarlata en su vestido con hilo de oro, dando a la letra un aire de elegancia. Hester lleva a Pearl, su hija, con ella. En el patíbulo le piden que revele el nombre del padre de Pearl, pero se niega. Entre la multitud, Hester reconoce a su marido de Ámsterdam, Roger Chillingworth.
Chillingworth visita a Hester después de que ésta sea devuelta a la prisión. Le dice que descubrirá quién era el hombre, y que leerá la verdad en el corazón del hombre. Chillingworth entonces la obliga a prometer que nunca revelará su verdadera identidad como su marido cornudo.
Hester se muda a una casa de campo que bordea el bosque. Ella y Pearl viven allí en relativa soledad. Hester se gana el dinero haciendo labores de costura para los dignatarios locales, pero suele dedicar su tiempo a ayudar a los pobres y enfermos. Pearl crece de forma salvaje, incluso se niega a obedecer a su madre.
Roger Chillingworth se gana una reputación como buen médico. Utiliza su reputación para que lo trasladen a la misma casa que Arthur Dimmesdale, un ministro enfermo. Chillingworth acaba descubriendo que Dimmesdale es el verdadero padre de Pearl, momento en el que se dedica a atormentar al ministro. Una noche, Dimmesdale se siente tan avergonzado por haber ocultado su secreto que se dirige al patíbulo donde Hester fue humillada públicamente. Se sube al cadalso y se imagina que todo el pueblo le está mirando con una carta estampada en el pecho. Mientras está allí, llegan Hester y Pearl. Él les pide que se pongan de pie con él, y ellas lo hacen. Pearl le pide entonces que se pare con ella al día siguiente a mediodía.
Cuando un meteoro ilumina a las tres personas que están de pie en el cadalso, ven a Roger Chillingworth observándolos. Dimmesdale le dice a Hester que está aterrorizado por Chillingworth, quien se ofrece a llevar a Dimmesdale a su casa. Hester se da cuenta de que Chillingworth está matando lentamente a Dimmesdale y que tiene que ayudar a Dimmesdale.
Unas semanas después, Hester ve a Chillingworth recogiendo hierbas en el bosque. Le dice que va a revelar a Dimmesdale el hecho de que es su marido. Él le dice que la Providencia está ahora a cargo de sus destinos, y que ella puede hacer lo que crea conveniente. Hester lleva a Pearl al bosque, donde esperan la llegada de Dimmesdale. Él se sorprende al verlos, pero le confiesa a Hester que está desesperado por tener un amigo que conozca su secreto. Ella lo consuela y le cuenta la verdadera identidad de Chillingworth. Él está furioso pero finalmente acepta que huyan juntos. Vuelve al pueblo con más energía de la que ha mostrado nunca.
Hester encuentra un barco que los lleve a los tres, y resulta que el barco debe zarpar el día después de que Dimmesdale dé su Sermón de la Elección. Pero el día del sermón, Chillingworth convence al capitán del barco para que lo lleve a bordo también. Hester no sabe cómo salir de este dilema.
Dimmesdale da su Sermón de la Elección, y recibe los mayores elogios de cualquier predicación que haya realizado. A continuación, se dirige inesperadamente al cadalso y se sube a él, a la vista de las masas reunidas. Dimmesdale llama a Hester y a Pearl para que se acerquen a él. Chillingworth intenta detenerlo, pero Dimmesdale se ríe y le dice que no puede ganar.
Hester y Pearl se unen a Dimmesdale en el cadalso. Dimmesdale dice entonces al pueblo que él también es un pecador como Hester, y que debería haber asumido el lugar que le corresponde a su lado desde hace más de siete años. A continuación, se abre la camisa para mostrar una letra escarlata en su carne. Dimmesdale cae de rodillas y muere en el cadalso.
Hester y Pearl abandonan el pueblo por un tiempo, y varios años después Hester regresa. Nadie vuelve a saber de Pearl, pero se supone que se ha casado y ha tenido hijos en Europa. Hester nunca se quita la letra escarlata, y cuando fallece es enterrada en el lugar de la Capilla del Rey.