杰斐逊离家大约有50英里，他既不与威廉·伦道夫家的人住在一起，也不与自己的家人生活在一块。就这样前后共5年，每年有八九个月，他都寄宿在道格拉斯牧师的家中，只有到了暑假才能回家，直到1757年他的父亲去世，他才返回夏洛茨维尔。
从杰斐逊的公开面对最卑劣的政敌时所表现出的很出色的自控能力，和他在临去世之前都在勤奋学习的那种惊人的毅力，就不难看出，在儿童时期，杰斐逊的父母应该是用相同的方式来教育他的。
不过，杰斐逊也为此付出了代价。
我们可以想象，当一个孩子了解到，爱是有条件的，必须言行举止都很优雅，无论如何都不能发脾气，而且要避开懒惰如同避开危崖，他会怎么办呢？
曾经受到这样诱导过的孩子，很可能对那份从来没有完全得到的爱，产生无穷无尽的渴望，同时还会误把尊敬当做爱。杰斐逊就是这样。历史上，很少有总统像他那样因为在政治圈里受到了指责，在生活中遭到别人算计，就时常感到抑郁寡欢。他更不会公开辩解这些，只是在受到各界的批判与攻击的时候，备感痛苦与煎熬。可见，他对爱是多么的渴望与希望啊！杰斐逊一生所遇到过的男男女女都感受到了他的这种渴望。因为杰斐逊在爱的给予上很仁厚、灵巧、宽大，而他自己也确实需要爱，因此他们也以爱他作为回报。
杰斐逊在多佛教堂求学的5年之中，他母亲又生了3个孩子，其中2个是双胞胎，双胞胎里的伦道夫，是唯一没有夭折的弟弟。威廉·伦道夫家现在虽然不跟杰斐逊家住在一起了，但是杰斐逊的父亲仍旧是他们的监护人，所以杰斐逊的父亲现在要照顾11个孩子。这么多人，憎恨、紧张、帮扶、亲情与友爱，应当是全都经历过的，尤其是在夏洛茨维尔、吐卡霍和多佛教堂辗转的杰斐逊，经历了这些岁月和家庭的变动，他逐渐养成了一种念家的情感。
杰斐逊跟他的父亲一样，都喜欢照顾孤儿。杰斐逊的妹妹玛莎在丈夫过世之后，有好几年经济困难，于是杰斐逊就让妹妹住到蒙特沙罗的自己家里。甚至有一段时间，杰斐逊还抚养她的6个孩子。杰斐逊的女儿结婚之后，他写给她们的信中，总是一再地邀请她们回到蒙特沙罗与他一起生活，后来，他的大女儿玛莎终于被杰斐逊说动了，决定搬回老家和父亲一起生活。
杰斐逊还有一个念家的表现，就是他很鼓励自己的女儿和“家族内的人”通婚，这样亲上加亲，而且联系起来更加方便。杰斐逊的大女儿玛莎就嫁给了远亲，除此之外，杰斐逊家中还有很多家人都与远亲再亲上加亲。当然，以我们现在的眼光，对这些很难理解，可是当时的人却觉得一点也不足为奇。杰斐逊同时也鼓励他的奴隶们，在自己的大家族里相互嫁娶，而且杰斐逊愿意以任何形式去帮助他们。
在杰斐逊的后半生，他总是希望自己能够在有生之年回到蒙特沙罗的老家。他的这种对家的眷恋之情十分明显，他总是幻想，当他还是孩子的时候，夏洛茨维尔意味着课程的结束、回家休假，和亲朋好友欢聚、打猎、钓鱼等。而杰斐逊长大之后，蒙特沙罗又成为他可以摒弃杂念和远离政治争议的地方。杰斐逊在担任总统的时候，曾经给女儿写了很多信，并表达了回家的愿望。
自打离开家之后，杰斐逊总是不断地重复着怀念家乡，他对家乡十分热爱，更对家乡的感情十分深厚。后来，杰斐逊在距离夏洛茨维尔几英里以外的地方，营造自己的新家，更是一种用来怀念家乡的方式。在杰斐逊年迈之际，当他提到弗吉尼亚，仍然把它叫做自己的“国家”。
在离家5年之后，后来的弗吉尼亚虽然还是殖民地，而且依旧盛行长子继承的传统，杰斐逊却没有继承父亲全部的财产。因为杰斐逊的父亲根本不在意这样的传统，杰斐逊以后也带领人们将这制度完全废止。
杰斐逊父亲的遗嘱规定，杰斐逊继承夏洛茨维尔农场和家中六分之一的财物及奴隶。在杰斐逊的父亲去世的时候，奴隶大概有90名。6个女儿每人可得6个奴隶和200英镑，到她们出嫁时或21岁时付给她们。余下的土地由杰斐逊与弟弟平分，要到21岁时才可获得。这份遗嘱同时又规定，如果杰斐逊的母亲去世，则由杰斐逊继承夏洛茨维尔。夏洛茨维尔大概有375英亩土地。不过，杰斐逊父亲的遗嘱也说，杰斐逊要负责教育年幼的弟妹，并把姐姐与妹妹们应该得到的遗产都分给她们。但是，杰斐逊的一切财物和其他权力，都得由杰斐逊的监护人执行。
就在杰斐逊的父亲去世之后的两年，他到弗列得利克斯维去上学，还好这里离夏洛茨维尔十分近，杰斐逊周末就可以回家。这样，每个星期，杰斐逊就有两天时间可以在家中度过。家中6个姐妹，1个弟弟，年龄最大的17岁，最小的2岁。而每个星期的前5天，杰斐逊要和一个顽固的英国牧师一起度过。在《自传》里，对于这位老师，杰斐逊没有写什么，只说他是个“称职的古典学者”，相比他对威廉玛丽学院的教师们的赞扬，显然杰斐逊不是很欣赏这位教师。这位教师在弗吉尼亚算是个特殊的教士，他的文章写得很好，并且善于记录一些东西，而且他自认为是法国皇室的后代。他积极地维护英国国教牧师的权益，认为他们是国家政治系统中最不可或缺的一部分。
当时杰斐逊与这个牧师一起住的时候，他已经十四五岁了，正是处在青春反叛期。他把心胸狭窄、言论偏颇的牧师莫里和主张自由独立的父亲相比较之后，心中对英国的国教产生了极度的鄙夷，而这也对以后的美国造成了极为深远的影响。跟杰斐逊同一个时代的那些政治家，没有一个人像杰斐逊如此对英国国教恨之入骨的，不论如何，杰斐逊的这种恨意貌似没有办法消除，好像天生就该痛恨它一样。
还有其他地方也都说明了，虽然是处于叛逆期，但是杰斐逊的想法很前卫，这与顽固派莫里的价值观和世界观完全格格不入。牧师莫里瞧不起印第安人，认为他们是野蛮人；可是杰斐逊跟他的父亲一样十分喜欢印第安人，觉得他们是很值得研究的对象，而且认为他们的战士值得尊敬。莫里对杰斐逊所说的平民思想表示完全怀疑，他说：“如果你信任平庸的凡人，认为这血肉之躯就有力量，那么你的心灵早已经远离了上帝，这些人都该死。”但是，杰斐逊却说：“如果每个国人都沉着稳重，有条不紊，这其实是我们能够得以安全的基石。”
在后来的独立革命中，摧毁英国国教教会的势力很自然地成了杰斐逊主要的目标之一。后来在1780年，杰斐逊出任弗吉尼亚州长和威廉玛丽学院的校董时，首先采取的行动就是把那些英国的国教教士全部赶出校门，把学校交给那些科学、数学与现代语言的教授掌控。有趣的是，直到杰斐逊去世，也不相信那些牧师的话，认为这些人只会分派别、挑起内部战争，而且还总想禁锢人们的思想。
当然，对于这位英国国教牧师对杰斐逊青少年时期的影响，绝不仅仅只是反面的。杰斐逊通过莫里的教导，不但学习了正确的希腊文和拉丁文，而且还培养了对语言的爱好。从此之后，杰斐逊不但可以借助这些语言技巧和人沟通思想，而且还能够沉浸在历史与神话的海洋之中。比如，杰斐逊经过莫里的教导，精通了希腊文，这样他完全不必受限于波普的译文，而能够尽情地享受荷马的原文带给他的最直观的感觉。
在杰斐逊14岁和15岁这两年中，杰斐逊跟着老师莫里研习希腊文和拉丁文。当然，作为顽固派，老师莫里的训练是十分严格的，丝毫不给他通融的机会。杰斐逊为此非常苦恼，他认为，想要躲开这位顽固派只有两条路，第一条是回到那个自己朝思暮想的夏洛茨维尔，第二条就只有钻到虚幻的世界里去探究、沉醉，然后忘记现实。于是，杰斐逊就在这两条路上不断徘徊。
其实，杰斐逊心里清楚，他固然喜欢夏洛茨维尔那种乡间气息浓郁、景色古朴但是清新的感觉，可是如果让自己在那里待得时间长了，他绝对会感到烦躁，开始觉得没有乐趣，甚至会感到人生已经到了尽头。当然，他也想一头扎进那个他认为“很狂热”的政治生活中去。但是，如果沉迷在政治圈中久了，他一定也会开始想念以前的田园生活，想念那种乡间的气息，更怀念没有烦闷的闲情逸致。其实，在杰斐逊离开家之后，他就一直在这两种不同生活道路上徘徊，顾此失彼，两者不能兼得，直到后来杰斐逊当了8年的总统之后，告老还乡回到蒙特沙罗，这种矛盾心理才算停止，而那时杰斐逊已经65岁了。
威廉玛丽学院修行
杰斐逊分外珍惜他的友谊，就像他的四个好友也都分外珍惜和他的友谊一样。杰斐逊的牧师老师莫里除了杰斐逊外，还有其他四个学生，他们的年龄从14岁到16岁不等，其中一个是莫里自己的儿子。而这几个孩子都成了杰斐逊的密友。杰斐逊直到去世之前，都与这四个人当中的两个一直保持紧密的联系。保持紧密联系的这两人其中之一是詹姆斯·麦迪逊，他后来成了威廉玛丽学院的校长，还有一个是小詹姆斯·莫里，他后来离开弗吉尼亚前往英国经商。
大多数家庭在弗吉尼亚的农场都是相互孤立的，彼此之间相隔着大片稠密的森林和十分难行的道路。不过，夏洛茨维尔却是例外，它靠近一条公路与过往路人落脚的旅舍。