Il y a plus d’un siècle, le riche propriétaire terrien Edward Gracey (Nathaniel Parker) tombe amoureux d’Elizabeth Henshaw, une servante multiraciale de son grand manoir. Cependant, il reçoit une lettre l’informant qu’elle l’a éconduit et que sa mort par empoisonnement était un suicide ; il se pend de désespoir.
De nos jours, Jim (Eddie Murphy) et Sara Evers (Marsha Thomason) sont des agents immobiliers prospères avec deux enfants, Megan (Aree Davis) et Michael (Marc John Jefferies), arachnophobe. Accro au travail et n’ayant que peu de temps à consacrer à sa famille, Jim rate son anniversaire de mariage et tente de se racheter en proposant des vacances sur un lac voisin. Sara est contactée par les occupants du manoir Gracey dans le bayou de Louisiane ; Jim, désireux de conclure un marché après avoir appris où se trouve le manoir, y emmène Sara et les enfants, rencontrant son propriétaire Edward Gracey, censé être un descendant du Gracey qui possédait le manoir avant lui et qui porte son nom, son majordome Ramsley (Terence Stamp) et deux autres domestiques ; la bonne Emma (Dina Spybey), et le valet de pied Ezra (Wallace Shawn).
Lorsqu’une tempête de pluie inonde la rivière voisine, Gracey permet à la famille de passer la nuit. Ramsley emmène Jim à la bibliothèque pour discuter de l’accord avec Gracey, mais Jim se retrouve piégé dans un passage secret. Gracey fait visiter le manoir à Sara, évoquant son passé et la mort de son grand-père après le suicide de son amante, Elizabeth. Megan et Michael suivent un orbe spectral jusqu’au grenier, où ils trouvent le portrait d’une femme qui ressemble presque trait pour trait à Sara. Emma et Ezra identifient cette femme comme étant Elizabeth.
Pendant ce temps, Jim rencontre Madame Leota, le fantôme d’une gitane dont la tête est enfermée dans sa boule de cristal. Il croise Emma, Ezra et ses enfants, et retourne voir Leota pour obtenir des réponses sur la ressemblance entre Elizabeth et Sara. Il est alors révélé que les habitants du manoir sont des fantômes, maudits il y a un siècle par les morts prématurées de Gracey et d’Elizabeth, et qu’ils ne peuvent entrer dans l’au-delà que lorsque les amants sont réunis ; Sara est considérée comme la réincarnation d’Elizabeth. Leota envoie alors les Evers au cimetière du manoir pour trouver une clé qui révélera la vérité sur la mort d’Elizabeth. Dans une crypte sous un mausolée, Jim et Megan trouvent la clé, mais dérangent par inadvertance ses résidents morts-vivants. Cependant, ils s’échappent avec l’aide de Michael, qui surmonte son arachnophobie.
Leota les conduit à une malle dans le grenier, que Jim déverrouille pour trouver une lettre d’Elizabeth à Gracey, révélant qu’elle l’aimait vraiment et voulait l’épouser, indiquant qu’elle a été assassinée. Ramsley apparaît alors et révèle qu’il a tué Elizabeth pour empêcher Gracey d’abandonner son héritage, car il pensait que leur relation était inacceptable. Pour cacher la vérité, Ramsley enferme les enfants dans une malle et jette littéralement Jim hors du manoir.
Alors que Gracey et Sara ont rendez-vous dans la salle de bal, elle est confuse lorsqu’il lui demande si elle le reconnaît, et il insiste sur le fait qu’elle est sa bien-aimée Elizabeth. La pièce se remplit de fantômes dansants, et Gracey révèle son identité fantomatique et qu’il est le fantôme du premier Edward, mais Sara insiste sur le fait qu’elle n’est pas Elizabeth. Cela fait réfléchir Gracey, mais Ramsley insiste sur le fait que Sara est Elizabeth et qu’avec le temps, elle s’en souviendra. Ramsley fait chanter Sara pour qu’elle épouse Gracey en échange de la sécurité de ses enfants.
Encouragé par Leota, Jim conduit sa voiture à travers la véranda du manoir, sauve ses enfants et empêche le mariage de Sara et Gracey. Il donne la lettre d’Elizabeth à Gracey, révélant la vérité sur sa mort et les mensonges de Ramsley. Gracey confronte furieusement Ramsley, qui s’insurge contre l’égoïsme apparent de son maître qui aime Elizabeth et invoque des spectres pour attaquer le groupe. Cependant, un dragon ardent émerge de la cheminée de la salle de bal et saisit Ramsley, qui tente d’emmener Jim avec lui, mais Gracey sauve Jim alors que Ramsley est traîné en Enfer pour faire face à la damnation éternelle pour ses péchés.
Sara s’effondre, ayant été empoisonnée par Ramsley, mais l’orbe spectral apparaît et, possédant Sara, se révèle être le fantôme d’Elizabeth. Elizabeth et Gracey se réunissent, et Sara est ensuite ressuscitée. La malédiction étant enfin levée, Gracey donne aux Evers l’acte de propriété du manoir et part au paradis avec Elizabeth, Emma, Ezra et les autres habitants du manoir. Les Evers traversent en voiture le Lake Ponchartrain Causeway pour des vacances en bonne et due forme, accompagnés de Leota et de quatre bustes chantants qu’ils ont rencontrés en cherchant le mausolée attaché à l’arrière de leur voiture.
Dans une scène de post-crédits, Leota fait ses adieux au public, l’invitant à rejoindre les morts en utilisant des dialogues de l’attraction de Disneyland.