1794年5月，詹姆斯•麦迪逊在费城会见了多莉，他们由当时和麦迪逊同住一所寄宿屋的伯尔介绍认识。麦迪逊当时为众议院成员。
    多莉已经结过婚，并有两个儿子。在1793年的夏天，黄热病疫情已席卷费城，造成数百人死亡，包括多莉的第一任丈夫和他们的第二个尚在襁褓中的儿子。
    1794年夏天，多莉前往北卡罗莱纳州探亲时，麦迪逊提出求婚。然后其交集等待多莉的回应，多莉接受了他的求婚。麦迪逊和多莉相识后仅几个月后在1794年9月15日结婚。时间很快就证明他们两人是真正的灵魂伴侣。
    美国第三任总统杰斐逊上任时，妻子已经去世19年。尽管他已经习惯了一个人生活，而且处理社交和政治事务时并不一定需要妻子的帮助，但每当新建成的白宫举行宴会时，受邀的女宾们总觉得缺少一个女主人来主持，有些扫兴。杰斐逊注意到了这个问题，就邀请国务卿詹姆斯•麦迪逊的夫人多莉•麦迪逊暂代女主人的角色，负责招待来访白宫的官员妻子们。
    多莉出色地完成了任务。或许是这份工作带来了好运气，杰斐逊卸任后，她的丈夫麦迪逊成为美国第四任总统，她管理白宫的时间就比总统任期还长一倍，达到了16年。
    多莉不但通过出色的社交能力赢得了上流社会的广泛支持，也赢得了平民百姓的尊重。多年后，在她的葬礼上，美国总统扎卡里•泰勒将她尊称为“我们这片土地上的第一夫人”，十年后，美国《插画新闻报》第一次使用“第一夫人”作为标题，这个称呼从此确定下来，成为对白宫女主人的尊称。
    他们的婚姻持续了42年，随着时间的流逝，他们之间的爱情也越来越深。总他们以各自独特的方式塑造和影响了美国。詹姆斯，政治家和公众的仆人，绅士农民，国家和总统秘书;多莉，女主人，社交名媛。他们会提供一个传统的爱和热情好客的身份，在这个年轻的国家的繁荣和自由的发展中打下社会和政治烙印。