Há mais de um século, o rico proprietário de terras Edward Gracey (Nathaniel Parker) apaixona-se por Elizabeth Henshaw, uma criada multirracial na sua grande mansão. Contudo, recebe uma carta informando-o de que ela o desdenhou, e que a sua morte por veneno foi suicídio; ele enforca-se em desespero.
Nos dias de hoje, Jim (Eddie Murphy) e Sara Evers (Marsha Thomason) são corretores de imóveis de sucesso com dois filhos, Megan (Aree Davis) e Michael (Marc John Jefferies). Um viciado no trabalho com pouco tempo para a sua família, Jim perde o seu aniversário de casamento e tenta fazer as pazes sugerindo umas férias a um lago próximo. Sara é contactada pelos ocupantes da Gracey Manor na baía da Louisiana; Jim, ansioso por fazer um acordo após saber onde fica a mansão, leva Sara e as crianças para a mansão, encontrando-se com o seu proprietário Edward Gracey, supostamente um descendente da Gracey que era dono da mansão antes e com o seu nome, o seu mordomo Ramsley (Terence Stamp) e dois outros criados; a criada Emma (Dina Spybey), e o criado de libré Ezra (Wallace Shawn).
Quando uma tempestade inunda o rio vizinho, Gracey permite que a família passe a noite. Ramsley leva Jim à biblioteca para discutir o acordo com Gracey, mas Jim fica encurralado numa passagem secreta. Gracey dá a Sara uma visita guiada à mansão, discutindo o seu passado e a morte do seu avô após o suicídio da sua amante, Elizabeth. Megan e Michael seguem uma esfera espectral até ao sótão, onde encontram um retrato de uma mulher que tem uma semelhança quase idêntica à de Sara. Emma e Ezra identificam esta mulher como Elizabeth.
Meanwhile, Jim conhece Madame Leota, o fantasma de uma cigana cuja cabeça está envolta na sua bola de cristal. Encontra Emma, Ezra e os seus filhos, e regressa a Leota para obter respostas sobre a semelhança de Elizabeth com Sara. É então revelado que os habitantes da mansão são fantasmas, amaldiçoados há um século pelas mortes prematuras de Gracey e Elizabeth, e só podem entrar no além quando os amantes se reúnem; acredita-se que Sara seja a reencarnação de Elizabeth. Leota envia então os Evers ao cemitério da mansão para encontrar uma chave que revelará a verdade por detrás da morte de Elizabeth. Numa cripta debaixo de um mausoléu, Jim e Megan encontram a chave, mas inadvertidamente perturbam os seus residentes mortos-vivos. Contudo, escapam com a ajuda de Michael, que supera a sua aracnofobia.
p>Leota leva-os a um baú no sótão, que Jim desbloqueia para encontrar uma carta de Elizabeth a Gracey, revelando que ela o amava verdadeiramente e queria casar com ele, indicando que ela foi assassinada. Ramsley aparece então e revela que matou Elizabeth para evitar que Gracey abandonasse a sua herança, pois acreditava que a sua relação era inaceitável. Para esconder a verdade, Ramsley prende as crianças num baú e expulsa literalmente Jim da mansão.p>Como Gracey e Sara se encontram no salão de baile, ela fica confusa quando ele pergunta se ela o reconhece, e ele insiste que ela é a sua amada Elizabeth. A sala enche-se de fantasmas dançantes, e Gracey revela o seu eu fantasma e que ele é o fantasma do Edward original, mas Sara insiste que ela não é Elizabeth. Isto dá a Gracey um segundo pensamento, mas Ramsley insiste que Sara é Elizabeth e, com o tempo, ela irá lembrar-se. Ramsley chantageia Sara a casar com Gracey em troca da segurança dos seus filhos.p>Encorajado por Leota, Jim conduz o seu carro através do conservatório da mansão, resgata os seus filhos, e pára o casamento de Sara e Gracey. Ele entrega a carta de Elizabeth a Gracey, revelando a verdade sobre a sua morte e as mentiras de Ramsley. Gracey confronta furiosamente Ramsley, que se enfurece com o aparente egoísmo do seu mestre por amar Elizabeth e convoca wraiths para atacar o grupo. No entanto, um dragão ardente emerge da lareira do salão e agarra Ramsley, que tenta levar Jim com ele, mas Gracey salva Jim enquanto Ramsley é arrastado para o Inferno para enfrentar a condenação eterna pelos seus pecados.
Sara desaba, tendo sido envenenado por Ramsley, mas a esfera espectral aparece e, possuindo Sara, revela-se ser o fantasma de Elizabeth. Elizabeth e Gracey reúnem-se, e Sara é subsequentemente ressuscitada. Com a maldição finalmente levantada, Gracey dá aos Evers a escritura da mansão e parte para o Céu com Elizabeth, Emma, Ezra, e os outros habitantes da mansão. Os Evers atravessam o Lago Ponchartrain Causeway para umas férias adequadas, acompanhados por Leota, e quatro bustos cantores que encontraram enquanto procuravam o mausoléu amarrado à traseira do seu carro.
Numa cena pós créditos, Leota despede-se do público, convidando-o a juntar-se aos mortos usando o diálogo da atracção da Disneylândia.