Un "vistazo" sobre Madison es proveído por las primeras notas biográficas escritas de la Casa Blanca A Colored Man's Reminiscences of James Madison (Recuerdos de James Madison por un Hombre de Color, 1865), escritas por el antiguo esclavo de Madison Paul Jennings quien trabajó para el presidente desde la edad de 10 años, sirviendo como lacayo, y después como su ayudante de cámara para el resto de la vida de Madison. Después de la muerte de Madison, Jennings fue comprado en 1845 a Dolley Madison por Daniel Webster, quien le requirió trabajar cobrando y entonces adquirir su libertad.
Jennings publicó su relato corto en 1865.Tenía un gran respeto por Madison y relató como Madison nunca le pegó a un esclavo, ni permitió que los capataces les pegaran también,cuenta que si algún esclavo se portaba mal, Madison se reunía con él en privado y conversaban sobre su comportamiento.