纪录显示，杰斐逊一生中曾拥有逾650名奴隶，其中有是自双亲及妻方继承而来，也有许多是因债权而扣留之资产。他既公开坦承相信奴隶制度不人道且终将绝迹，又蓄奴之行为，遭目为伪善。1801年，在总统大选过后，波士顿的报纸《新英格兰守护者》（The New England Palladium）报道，杰斐逊‘骑在奴隶背上进入自由之殿堂。
    美国独立宣言初稿中，杰斐逊谴责英王在北殖民地主导引入奴隶制度，控诉英王‘从事残酷的战争以压制人性，对未曾冒渎他的人们，侵犯其生命与自由两个最庄严的权利，蛊惑并运载他们到地球的另一边成为奴隶。’这段话在南卡罗莱纳与乔治亚的代表们要求下，自独立宣言的正文中删除。1769年，当时身为维吉尼亚州议会代表之杰斐逊，提案解放州内之奴隶未成。1778年，州议会通过他另一项提案，维吉尼亚禁止输入奴隶。用他本人的话说，此案虽未带来全面解放，但‘禁绝因输入奴隶而提高恶行，将最终的根绝留给未来。’1784年，杰斐逊在西北地域法令初稿中规定，自西北属地中新加入联邦的州‘既不可蓄奴，亦不可奴役非自愿受者。’.1784年，杰斐逊在其维吉尼亚照会中抨击奴隶制度：
    我国民生产中掺杂奴工定有令人不快之影响。主奴间所有的交易都是狂怒下的无限期作法，对其中一方为不懈怠的专制，对另一方则为卑下屈从。’
    史家史蒂芬•安伯洛斯称：
    杰斐逊明知奴隶制度不当，明知自己自此种体制中得利为不道德，但在其一生中显然看不到放弃的迹象…在杰斐逊矛盾的一生中，没什么比这个更矛盾的了。
    莎丽•海明斯（Sally Hemings）的争议
    自杰斐逊在世时便争议不断的一个题材是，他是否为其女奴莎丽•海明斯子女之父？此一说法自1802年起广泛得到公众关注。记者詹姆斯•科连德（James T. Callender）于里奇蒙的地方报刊中写道，海明斯曾为杰斐逊之‘妾室’，长达数年之久，并为杰斐逊生下多名子女。杰斐逊未曾对此作任何公开回应，但其遗嘱中要求予海明斯之两子，艾斯顿（Eston）与麦迪逊•海明斯（Madison Hemings），自由之身。两人后来声称杰斐逊为其生父。
    1998年，一项对其DNA的研究，断定海明斯与杰斐逊两个家族间具有遗传上的连结，但无法确证托马斯•杰斐逊本人为海明斯家族之始祖。三项研究成果于2000年代初期发布，并公开出版。在蒙地沙罗运作的托马斯•杰斐逊基金会（Thomas Jefferson Foundation）声明‘不太可能是…杰斐逊家族内的其他人，而非托马斯•杰斐逊本人，为海明斯子女之父。’托马斯•杰斐逊遗产协会（Thomas Jefferson Heritage Society）下属一个研究委员会，由13名独立成员所组成的学者委员会领导，断言，以杰斐逊本人为其始祖的理论站不住脚。‘全国宗谱协会季刊’（National Genealogical Society Quarterly）稍后发文评论，莎丽•海明斯与托马斯•杰斐逊两人间的的关系证据确凿。