詹姆斯·波尔克纪念金币
1849年1月，波尔克在白宫举行了庆祝自己结婚25周年的银婚纪念活动，于3月卸任。繁重的工作累垮了波尔克的身体，他头发全白了。在白宫这段时间，他一直患有慢性腹泻。波尔克离开白宫后，与莎拉一起返回田纳西州。莎拉重新为现在住的房子取名，称它为波尔克宫。莎拉对新居所做的改进工作使波尔克十分满意。波尔克振作精神，全力为他新的图书馆整理图书。但这个工作量对他来说实在太大，因此他病倒了。病情发展得很快，不久就进入病危状态。1849年6月15日，距离开白宫仅有三个月时，波尔克逝世。
波尔克总统夫妻之墓
失去了波尔克，莎拉六神无主。这么多年来，波尔克一直是她关注和爱慕的焦点，现在没有了他，她就不知如何是好了。虽然为了缓解自己的悲伤，和寻找到一些新的生活乐趣，莎拉过继了她哥哥的一个小孙女来抚养。但在后来的日子里，只要客人们提起波尔克，莎拉就会滔滔不绝地叙述有关他的往事。她刻骨铭心地思念着波尔克，有生之年，一直都身着丧服。
1891年8月14日，莎拉享尽天年，终年88岁。她的遗体被安葬在波尔克宫花园波尔克的墓旁。1893年，他们那座仿希腊的庙字式样的墓冢被迁到田纳西州纳什维尔州府广场上，至今仍然保留着。
总结评论
1844年民主党人在巴尔的摩提名波尔克为总统候选人时，辉格党人就提出了这样的说法，波尔克是谁？一个多世纪后的现在，人们还在想方设法回答，但答案无一不反映着当时的意识形态，连学者们也不例外。因为波尔克是美国扩张主义的象征，他的勃勃雄心迎台当时在美国风靡一时的思潮。大多数人认为在北美洲控制尽量多的领土是“天意”。在白宫任职期间，波尔克尽力使这种“天意”变成现实。在美国人看来，他是位卓有成绩的比较成功的总统。他不像其他总统那样夸夸其谈，他对美国人民几乎兑现了自己的全部诺言。波尔克认为，对公职的热望以及寻求依靠公众过活的卑劣小人的数量正在日益超出先例，无论哪个政党的总统都将不可能再次当选。原因在于政府的官职任命权将破坏任何总统的名望，不论他将多么出色地管理政府。
在波尔克成为总统后，有来自各方面的对他的批评，人们认为波尔克没有智慧，没有学识，没有论点，没有适度的口才，没有优美的语言，没有哲理，没有同情心，没有得体的即席演说；除了信心、流利和努力，他不具有一个演说家的任何品质。他是一个狡猾、诡诈和搞阴谋的人。波尔克的任命完全是自政府组成以来任何一位总统都未曾作出的最该死的决定。他的周围有一班喜欢吹牛拍马的家伙，他们将他奉承得昏昏然而不知所以。但赞扬波尔克的人则称他是最杰出的人，认为波尔克是人民权利的能干、正直和无法收买的斗士。他是民主党人原则的杰出化身，是一个伟大的总统。彼尔克同时代的几位遗老对他极为崇敬。他们称他是“我们政府官员中的佼佼者，是我国迄今为止最优秀、最诚实和最富有成效的总统之一”。他有一句名言：“读书而不思考，等于吃饭而不消化”。