1819年，他从家乡前往纳什维尔，跟当时西部名律师费利克斯•格兰比学法律一年。1820年通过律师考试，在田纳西中部的哥伦比亚挂牌开业。波尔克学习法律时，结识了父亲的朋友安德鲁•杰克逊将军，对他十分崇拜。两人个性截然相反，波尔克为人严谨，有学者风度，杰克逊脾气急躁，但由于政治观点一致，两人结成终生政治盟友。波尔克成了杰克逊的忠实信徒。
    1819年至1822年间，波尔克曾任田纳西州参议院首席书记官。由于在律师业享有的名声，于1823年当选为州众议员。1825年，波尔克当选为联邦众议员，1827年为众议院外委会成员，1833年任众议院筹款委员会主席， 1835年和1837年两度当选为众议院议长。波尔克在国会任职长达14年。国会于1825年起分裂成两大派，一派支持当时新任总统的约翰•昆西•亚当斯，一派支持落选的杰克逊。杰克逊在第二次对英作战中顽强战斗，被人称为“老胡桃木”。因而波尔克也得了“小胡桃木”的绰号。波尔克于1824年结婚。妻子名叫萨拉•奇尔德雷斯。她的父亲乔尔•奇尔德雷斯是一个著名的种植园主、商人和土地投机者。对一个处于她的时代和地位的妇女来说，莎拉接受了很好的教育。她上过北卡罗来纳州一所为上层阶级子女开设的女子学校。当她和波尔克同在默夫里斯伯勒接受塞缪尔•布莱克的指导时，俩人相识了。那时，波尔克19岁，莎拉12岁。当莎拉到了成家的年龄，波尔克开始追求她，俩人在1823年订婚。1824年1月1日，莎拉和波尔克在她的娘家举行了婚礼。在波尔克竞选参议员期间，莎拉就已花时间订做了婚礼服，并按家乡的风俗筹办婚礼。仪式过后，又举办了一个有七道菜的婚礼晚宴。那个晚上，一支黑人乐队自始至终在奏着轻柔的音乐。各种各样的庆祝活动居然持续了整整一个星期！在这段时间里，波尔克和莎拉根本没有机会单独呆在一起。当这场庆祝活动终于结束以后，他们回到了自己的家，这是一幢仅有两室的房子，是波尔克家的财产，离波尔克家很近，仆人们住在小屋的后面。她婚后未育，全力帮助丈夫从事政治活动。
    1839年，第二任议长任期末满，波尔克即宣布竞选田纳西州州长。因为当时田纳西州的政治形势需要一个强有力的人任州长，才能保住杰克逊派对该州的控制。竞选结果，波尔克获胜。1840年大选时，田纳西州议会提名波尔克为民主党副总统候选人，他在民主党最后提出的三名副总统候选人中得票最少，未获正式提名。大选结果，辉格党获全胜，哈里森当选总统，民主党的范布伦下台。在辉格党得势的政治气候下，波尔克于1841年和1843年两次竟选田纳西州州长，均告失败。