Hace más de un siglo, el rico terrateniente Edward Gracey (Nathaniel Parker) se enamora de Elizabeth Henshaw, una sirvienta multirracial de su gran mansión. Sin embargo, recibe una carta en la que se le informa de que ella le ha rechazado y de que su muerte envenenada ha sido un suicidio; él se ahorca desesperado.
En la actualidad, Jim (Eddie Murphy) y Sara Evers (Marsha Thomason) son unos exitosos agentes inmobiliarios con dos hijos, Megan (Aree Davis) y el aracnofóbico Michael (Marc John Jefferies). Jim, un adicto al trabajo con poco tiempo para su familia, se pierde su aniversario de boda e intenta enmendarlo proponiendo unas vacaciones en un lago cercano. Sara es contactada por los ocupantes de la Mansión Gracey en el pantano de Luisiana; Jim, ansioso por hacer un trato tras enterarse de dónde está la mansión, lleva a Sara y a los niños a la mansión, conociendo a su dueño Edward Gracey, supuestamente descendiente del Gracey que poseía la mansión antes y que lleva su nombre, a su mayordomo Ramsley (Terence Stamp) y a otros dos sirvientes; la criada Emma (Dina Spybey), y el lacayo Ezra (Wallace Shawn).
Cuando una tormenta inunda el río cercano, Gracey permite a la familia pasar la noche. Ramsley lleva a Jim a la biblioteca para discutir el trato con Gracey, pero Jim queda atrapado en un pasadizo secreto. Gracey le da a Sara un recorrido por la mansión, hablando de su pasado y de la muerte de su abuelo tras el suicidio de su amante, Elizabeth. Megan y Michael siguen un orbe espectral hasta el ático, donde encuentran el retrato de una mujer que tiene un parecido casi idéntico al de Sara. Emma y Ezra identifican a esta mujer como Elizabeth.
Mientras tanto, Jim se encuentra con Madame Leota, el fantasma de una gitana cuya cabeza está encerrada en su bola de cristal. Se encuentra con Emma, Ezra y sus hijos, y vuelve con Leota para obtener respuestas sobre el parecido de Elizabeth con Sara. Se revela entonces que los habitantes de la mansión son fantasmas, maldecidos hace un siglo por las prematuras muertes de Gracey y Elizabeth, y sólo pueden entrar en el más allá cuando los amantes se reúnen; se cree que Sara es la reencarnación de Elizabeth. Leota envía entonces a los Evers al cementerio de la mansión para encontrar una llave que revele la verdad sobre la muerte de Elizabeth. En una cripta bajo un mausoleo, Jim y Megan encuentran la llave, pero sin querer molestan a sus residentes no muertos. Sin embargo, escapan con la ayuda de Michael, que supera su aracnofobia.
Leota les lleva a un baúl en el ático, que Jim abre para encontrar una carta de Elizabeth a Gracey, en la que revela que le amaba de verdad y quería casarse con él, lo que indica que fue asesinada. Ramsley aparece entonces y revela que mató a Elizabeth para evitar que Gracey abandonara su herencia, ya que creía que su relación era inaceptable. Para ocultar la verdad, Ramsley atrapa a los niños en un baúl y, literalmente, echa a Jim de la mansión.
Cuando Gracey y Sara se reúnen en el salón de baile, ella se confunde cuando él le pregunta si le reconoce, y él insiste en que es su amada Elizabeth. La sala se llena de fantasmas que bailan, y Gracey revela su ser fantasmal y que es el fantasma del Edward original, pero Sara insiste en que no es Elizabeth. Esto hace que Gracey se lo piense mejor, pero Ramsley insiste en que Sara es Elizabeth y, con el tiempo, lo recordará. Ramsley chantajea a Sara para que se case con Gracey a cambio de la seguridad de sus hijos.
Animado por Leota, Jim atraviesa con su coche el invernadero de la mansión, rescata a sus hijos y detiene la boda de Sara y Gracey. Le da la carta de Elizabeth a Gracey, revelando la verdad sobre su muerte y las mentiras de Ramsley. Gracey se enfrenta furiosamente a Ramsley, quien se enfurece ante el aparente egoísmo de su amo por amar a Elizabeth e invoca a los espectros para que ataquen al grupo. Sin embargo, un dragón ardiente emerge de la chimenea del salón de baile y se apodera de Ramsley, que intenta llevarse a Jim con él, pero Gracey salva a Jim mientras Ramsley es arrastrado al infierno para enfrentarse a la condena eterna por sus pecados.
Sara se derrumba, habiendo sido envenenada por Ramsley, pero el orbe espectral aparece y, poseyendo a Sara, se revela como el fantasma de Elizabeth. Elizabeth y Gracey se reúnen, y Sara es revivida posteriormente. Con la maldición finalmente levantada, Gracey da a los Evers la escritura de la mansión y parte hacia el Cielo con Elizabeth, Emma, Ezra y los demás habitantes de la mansión. Los Evers atraviesan la calzada del lago Ponchartrain para pasar unas vacaciones como es debido, acompañados por Leota, y cuatro bustos cantantes que encontraron mientras buscaban el mausoleo atados a la parte trasera de su coche.
En una escena post-créditos, Leota se despide del público, invitándoles a unirse a los muertos utilizando diálogos de la atracción de Disneylandia.