Hay una gran posibilidad de que Madison fuera asexual. Dolley y él nunca tuvieron hijos y no hay ninguna evidencia que respalde su relación con nadie más que Kitty Floyd (que rompió el compromiso).