Vers le XVIIIe siècle, un Anglais fortuné s'installa avec sa femme, Lady Dorothy Warpole, dans un domaine en Angleterre du nom de Rayhnam Hall. Dorothy trompait son mari avec un jeune compte, pour aller le voir, elle se drapait dans un long voile brun et descendait le grand escalier qui menait à l'office, où elle voyait son amant.

Il fut que son mari eu ouï de la relation qu'elle entretenait avec le jeune compte. De rage, il l'enferma dans un réduit situé sous le grand escalier de la maison, où elle finit ses jours.

Depuis, il n'est pas rare d'apercevoir Dorothy, nommée la Dame Brune à cause du long voile brun qu'elle portait pour aller rejoindre son amant, parée de multiples bijoux magnifiques, descendre le grand escalier d'une maison habitée par de riches personnes. Lorsque vous l'apercevez, il ne vous arrivera rien. Elle se contentera de vous regarder puis de disparaître...

On dit aussi que la Dame Brune apparaît, uniquement la nuit, devant une maison habitée par des nobles, elle sonne et si une jeune fille amoureuse lui ouvre, elle la conseille sur le choix à prendre en amour et lui fait part de sa propre tristesse d'avoir perdu son amant. Dans la plupart des cas, la jeune fille est estomaquée et n'ose pas répondre, mais à ce moment précis, la Dame Brune disparaît...

La légende raconte que si la Dame Brune porte des gants noirs , c'est signe qu'un amour meurtrier et terrible se prépare chez la personne concernée. Mais si elle porte des gants blancs, la personne va connaître un amour magnifique et parfait.