按照南部和纽约的绅士们所遵守的“社交礼法”来说，这种言词等于要求进行决斗。对手的挑战书很快便送来了。汉密尔顿原本没有必要接受挑战，他无须证明自己的勇敢，他有一个妻子和一大家人靠他养活。而且，汉密尔顿认为，在决斗中击毙对手无异于谋杀。可是他必须维护自己的尊严，他的心胸高尚这一弱点，迫使他接受来自伯尔的挑战。
汉密尔顿预感自己的死对家人来说将是一场灾难，他给妻子写了三封信，称她是“世界上最好的妻子，最好的女人”。汉密尔顿决定要证明自己勇敢，而又不使对方丧命：保留发射第一枪的权利，然后放弃他，希望伯尔开枪失误，从而得到荣誉上的满足。但是，伯尔却无意于不求命中。
1804年7月11日那个明媚的夏日清晨6时，汉密尔顿和他的助手渡过哈得逊河，来到河边断崖下一处树丛中，副总统伯尔和他的朋友正在那里开辟决斗场地。双方的距离经商定为相隔10步。当“举枪”
的信号发出后，伯尔抬起手臂，细心瞄准，随即扣动扳机，汉密尔顿胸腔下部被子弹射中。他应声倒下时，手指痉挛地动弹了一下，漫无目标地开了一枪。汉密尔顿经历了30小时剧烈的痛苦后，才溘然长逝。
艾伦·伯尔事后逃到了华盛顿，杰斐逊总统和颜悦色地接待了他，并将路易斯安那领地最好的职位授予他。这并非杰斐逊要奖赏杀害汉密尔顿的凶手，而是这时总统还有用得着伯尔之处。因为伯尔身为副总统，必须充当国会参议院的议长，该院当时作为弹劾法庭正在举行会议，审讯最高法院法官蔡斯。因为他被众议院共和党议员指控，有滥用职权和其他若干不法行为。
在伯尔主持的会议上，约翰·伦道夫代表众议院进行起诉，卢瑟·马丁和罗伯特·哈珀两位著名律师作了辩护。虽然蔡斯任法官时态度粗暴，但对他提出的那些严重的指控却没有真凭实据。到了1805年3月初表决时，有相当多的共和党参议员同联邦党人联合一致，开脱了这位犯有“罪行和过失”的法官。这次审讯表明，杰斐逊打算清理保守的联邦党人的计划没有成功，正如他本人所言：“在选举中遭到失败的联邦党人退据司法机构，他们盼望能从那道防栅发炮，轰垮共和党人的一切堡垒。
在杰斐逊第一届任期内，经济繁荣，版图扩大，国家安定，这为他竞选连任铺平了道路。1804年2月，在民主共和党的党团会议上，人们一致同意他竞选连任。现任副总统因为行为不端，已被大家唾弃，大家一致同意把伯尔从党的候选人名单上一笔勾销，而来自纽约州的乔治·克林顿获得副总统候选人的提名。联邦党的总统和副总统候选人，分别为查尔斯·平克尼和鲁弗斯·金。1804年的竞选活动远不如4年前的那次紧张、激烈，因为人人都清楚，杰斐逊之当选已是铁板钉钉的事。
果然，杰斐逊大获全胜，以162票对14票的压倒多数击败了联邦党的候选人查尔斯·平克尼。
杰斐逊的第二任期是在一片喜气洋洋的氛围中开始的，但是不久就遇到了麻烦，最后在困难中黯然结束。
杰斐逊本想继续推行自己“贤明而节俭”的政策，不料他的政党却开始按选区分裂为许多派别：力图扩张领土的西部人，新英格兰的受压抑者，弗吉尼亚刻板的民主共和党人，中部各州对官职大小斤斤计较的民主主义者。从国际环境看，拿破仑称雄欧洲大陆，不列颠则控制了海洋。双方极力推行大陆封锁或海上封锁的政策，欲置对手于死地。对美国而言，这是一种比1792年到1801年期间各次战争更加难以应付的局面。
对杰斐逊的时运起决定作用的这一年，是以伯尔阴谋案这一插曲告终的。伯尔在副总统任期届满之前，曾私下同英国驻美公使梅里接触，提议如皇家海军予以合作，则愿取得50万美元，使路易斯安那从联邦分离出去。公使认为此事可行，便力促英国政府付款，只是当时唐宁街的权贵正忙于对法国的战争，无意推动路易斯安那的分离运动。
但是，伯尔并未死心。他带着几个追随者到了西部地区，与那里的一些冒险分子密谋策划。他首先是要促成路易斯安那领地分离，并在该地自任总统；然后再进入得克萨斯并“解放”西班牙统治下的墨西哥。
1806年夏，伯尔在肯塔基的列克星敦成立总部，积极招募人员来从事他的冒险活动。不料，有人给杰斐逊总统写了一封揭发信，说西部有“一桩隐蔽、黑暗、邪恶而流布广远的阴谋。”总统遂发布文告，下令缉拿伯尔。
伯尔被缉拿归案后，以叛国罪受审。但是，主持审讯的最高法院的首席法官约翰·马歇尔极力主张，应当严格遵守宪法对叛国罪所下的定义，即“与合众国作战，依附……合众国之敌之者，”以及宪法所规定的“经该案两人证明”这一条款。马歇尔的结论是：仅仅招募人员意图谋反并非叛国。伯尔由此获得开释。杰斐逊对这一判决深为不满，但又无可奈何。
1807年，英国海军以武力强征美国水手服役的行动造成了新的战争威胁。为了维护美国在英法战争中保持中立的既定国策，杰斐逊说服国会通过了禁运法案，禁止将美国商品运往其他任何国家，禁止美国船只驶往外国港口。这一法案，用杰斐逊的话来说，就是“除了战争以外，这是我们所能要出的最后一张牌了。”这项法案遭到了新英格兰地区商人们的激烈反对，后来国会通过了一项撤销禁运的法令，1809年3月1日杰斐逊予以签署。3天后，他任期结束，告老还乡，回到弗吉尼亚的蒙蒂塞洛，如乔治·华盛顿那样，从此过起了隐居的生活。
杰斐逊的情感生活
杰斐逊和所有的名人一样，享受不了应有的隐私权。他的私生活总是受到政敌的攻击，成为人们乐于争论的话题。
1772年1月，杰斐逊与一名叫玛莎·韦尔斯·斯克尔顿的寡妇结婚。有幸成为杰斐逊夫人的这位女士其实当年守寡时的年龄并不大，她嫁给杰斐逊时年仅22岁，但已经是一个孩子的母亲了。在她与29岁的杰斐逊结婚前几个月，这个孩子不幸夭折。玛莎有一双澄清明亮的眼睛，一头浓密的金发，堪称美女之中的佼佼者。初婚和生育丝毫不减少她成熟女性的魅力。她体态丰盈，风姿绰约，而且受过良好的教育，有着非凡的艺术天分。她与杰斐逊从相知到相爱纯粹是出于两人对音乐的高超的领悟力和偏爱。杰斐逊送给他的第一件礼物就是一架钢琴。这成为他们持久爱情的见证。
在婚后10年的共同生活中，玛莎给杰斐逊生了6个孩子：1个儿子，5个女儿。但是只有两个女儿侥幸活了下来。这些孩子大都是在英军疯狂蹂躏践踏弗吉尼亚的时期降生的。后来长大成人的两个女儿一个沿袭母亲的名字，也叫玛莎，她后来以“帕特丝”这个名字见诸于世；另一个叫玛丽，她后来以“波莉”这个名字见诸于世。由于战争环境的险恶，过着流离失所的生活，杰斐逊夫人的身体状况急转而下。1781年，当英军进入蒙蒂塞洛时，杰斐逊带着家人被迫到里土满避难。在这里，第二年5月玛莎生下最后一个孩子后，身体状态已到了全面崩溃的边缘。她从此再也离不开床榻，她的善良和丈夫的虔诚乞求都救不了她，死神正无情地向她逼近。4个月后，也就是1782年9月6日，杰斐逊夫人永远地离开了人世。
带着对爱妻的无限追思和怀念，杰斐逊开始专心致志于培养两个女儿。玛莎在弥留之际，曾让他发誓不再结婚，因为她不愿让自己的孩子有继母。杰斐逊确实没有再婚，任总统后，白宫没有第一夫人，他就请求国务卿麦迪逊的夫人做他非正式的白宫女主人。他的女儿长大后，也偶尔担当起这一角色。
杰斐逊当选为总统后不久，在首都华盛顿就到处流传着这样的风言风语：杰斐逊有几个奴隶长得“非常像总统本人。”这些绯闻都和一个叫萨莉·哈米斯的女奴有关。但是，许多历史学家仍对此事的存在持否定态度。
事实上，那个“肤色黝黑”的萨莉并不是真正意义上的黑人。她是一个有1／4黑人血统的混血儿。她的母亲贝蒂·哈米斯是一个纯正的非洲女奴与一位英国海军上将的女儿。1873年，贝蒂·哈米斯带着自己的孩子来到杰斐逊的庄园。此前，杰斐逊的岳父、富有的费吉尼农场主约翰·韦尔斯长期占有这批奴隶，在他死后，这批奴隶被履行遗嘱赐给了杰斐逊和玛莎。如果这属实的话，那么贝蒂带来的这些孩子的父亲极有可能是韦尔斯本人。由此看来，萨莉·哈米斯很可能是杰斐逊夫人同父异母的妹妹。
1787年，杰斐逊带女儿赴法国，14岁的萨莉作为小组的女仆也一同越洋跨海，来到巴黎。她虽然年龄尚小，但已显示出一种发育成熟的女性美来。她不仅漂亮、聪明伶俐，而且善解人意。萨莉到巴黎不久，杰斐逊便为她买了新衣服，满身珠光宝气，焕然一新。杰斐逊为她雇了一个家庭教师，至少教了她20个月的法语。显然，他们之间已不是一般的主仆关系了。
几年后，杰斐逊回到蒙蒂塞洛，萨莉终日不离其左右，一副兴高采烈的样子。他对外宣称萨莉是侍侯他饮食其居的女奴，实际上早已是他“屋里的女人”。萨莉共计给杰斐逊生养了5个孩子。杰斐逊在遗嘱中明确规定：在他死后，生活工作在蒙蒂塞洛的哈米斯家族成员一概成为自由人。他们的一个女儿据说与杰斐逊长得颇为相似，她后来成为美国第四任总统詹姆·麦迪逊的妻子。麦迪逊是在一次拜访杰斐逊的过程中，在蒙蒂塞洛偶然遇见了这位黑美人并深深爱上她的，后来他把这个黑美人的名字改为多莉·麦迪逊。
与萨莉·哈米斯的风流韵事曾经在杰斐逊的事业蒸蒸日上的过程中成为政敌攻击他的把柄。但是这些桃色传闻并没有妨碍杰斐逊作为美国历史上伟大政治家的形象。他为自己撰写的墓志铭上刻有这样几句话：
美国《独立宣言》起草人，
弗吉尼亚宗教自由法案的执笔人，
弗吉尼亚大学的创建者，
托马斯·杰斐逊长眠于此。