曾巩的父亲易占被诬落官，只好回家。易占在位之时是一位清廉的官，没有为自己积攒财富，由此为他的大家庭后来的生活带来了经济压力。曾巩又在京城里参加考试，没有考中，次年才回到家中。曾易占是被诬而失职，自然心中有些愤懑，同时他又是一位有志之士，深感怀才不遇，壮志未酬，于是难免要外出走动，一来是散散心，二来有机会也得为自己申诉一下。第二年，也就是景祐四年（1037年），曾易占去了筠州（今江西高安市）拜访余靖，筠州离南丰不算远，他从水路而去，自盱江入赣江再转锦江而到达筠州。而余靖在筠州也属于遭贬的官员，他在《洪州新置州学记》里说：“某以上书忤旨，贬筠州。”此时他们两人也就有了相通之处，一人是被贬降了职，一个是被贬而没了职，也算是惺惺相惜了。曾易占送上自己的诗作，余靖为他写下了《曾太博临川十二诗序》，余靖在序中说：
今兹得罪去朝，守土滨江，同年不疑曾兄惠然拿舟见顾，间日共言临川山水之美，因出十二诗以露其奇。其诗皆讽咏前贤遗懿、当代绝境，未尝一言及于身世，陶然有飞遁之想。通哉！不疑不以时之用舍累其心，真吾所尚哉！{1}
余靖对他的诗歌作了肯定，对于他超然于名利，他的人品也作了肯定，对于他落官不落志表示钦佩，也隐约表达了同病相怜的意思。两年后，曾易占又进京上书，大谈国家安危治乱之事。次年又去了江西的南康（今星子县一带），并在朋友那里住了一段时间。几年之后，曾易占又上书请建东宫，在居家期间还写下《时议》十万字。可以看出曾易占居家期间还在关心国家大事，并积极建言。做这些都是需要大量时间与精力，自然就会减少他对家务操持的时间与精力，影响他对家庭的关照。
在这样的家庭背景之下，曾巩首先要帮助父亲解决一家人的生计问题，不然生活就会紧巴巴，家人就要受饿挨冻，事非小也，况且此时家有八九十岁的祖母，还有兄弟、妹妹等十余人。哥哥晔长他十岁，是一个酷爱读书的人，也是一个多病的人，以至于年不到五十而早逝。在曾巩面前第一是必须想办法解决吃饭问题，其次才是读书求上进的事。他在《上欧阳舍人书》中说：“祖母日愈老，细弟妹多，无以资衣食，恐不能就其学，况欲行其他耶？”
虽是生存的压力大，但毕竟他家祖上是官宦之家，也是远近闻名的望族，在家人的共同努力下，生活还是能维系下去。也能抽时间外出短暂游学或参加考试。庆历元年（1041年），曾巩游学京城太学，拜谒大文豪欧阳修，欧阳修十分欣赏和爱惜这位天下难得的青年才俊，以至于欧阳修说：“过吾门者百千人，独于得生为喜。”但这次考试，曾巩还是没有考中，又只好落第而归。曾巩虽然落第，但已是文名满天下。
曾巩南归，他住在临川，因而上齐工部书，请求入临川学籍。他在临川虽然生活艰辛，“皇皇四方，营飦粥之养。”但对学习还是一刻也没放松，他在给欧阳修的信中对于在临川的学习情况做了汇报。他说：“此巩既夤缘幸知少之所学，有分寸合于圣贤之道，既而又敢不自力于进修哉，日夜克苦，不敢有愧于古人之道，是亦为报之心也。”
曾巩八岁丧母，而在他二十六岁时，祖母黄氏又以高龄逝于临川，次年他归葬祖母于南丰，并请王安石撰写墓志铭。这也是他家庭里重要的事件，但更不幸的是他这个时候已得病，只好在家养病，不得离家外出。对于当时的情形，曾巩在他给欧阳修的《上欧阳龙图》一信里说：
拜别后，其心焦然如渴饥不见饮食，于今三年矣。得前年秋所赐教，后寻闻外补，欲寓一书以布惓惓之意，而其罪衅招祸。其冬祖母弃馆舍，哀摧之余，仅存微息。至去秋复奉祖母、亡母葬。南丰贫贱也。乞丐以供事，故常奔走于道路，无须臾之暇能果其所欲。即又欲葬祖母后一至执事之侧，少慰其心。而自去夏属疾，至冬益甚，抵今未尽平复，未堪远役，又未能成其意。
庆历七年（1047年）六月，曾巩的父亲易占奉诏入京，曾巩抱病随同前行。经过两个多月的跋涉，他们到了金陵。到金陵后，曾巩从宣化渡江去了滁州见欧阳修，并在滁州住了二十余天。滁州属安徽所辖，离金陵也不是很远。曾巩在给王安石的一封信里说：“巩至金陵后，自宣化渡江来滁上，见欧阳先生，住且二十日。今从泗上出，及舟船侍从以西。”离开滁州时，欧阳修写了一封信给离任的前宰相杜衍，信中对曾巩的情况作了大致介绍，希望杜老先生招之于门下。杜衍，字世昌，越州山阴（今浙江绍兴）人，住在南京（今河南省商丘南），于是向杜老先生推荐了曾巩，正好曾巩在南京可以去拜访他。欧阳修在信中说：“进士曾巩者，好古，为文知道理，不类乡闾少年举子所为。近年文稍与雍，后进中如此人者不过一二。阁下志乐天下英材，如巩者进于门下，宜不遗之。恐未知其实，故敢以告，伏惟矜察。”九月，曾巩给杜衍写了一封信，并且随信寄上自己的文章，希望能与老先生见一面。
曾巩此行的目的就是要陪父亲去京城，但到了离京城不远的南京，父亲就病倒了，不久逝于南京。此时，曾巩的最小妹妹德操还不到四岁，最小弟弟肇还没满周岁。这对曾巩来说是一个沉重的打击。在南京，他身边没有亲人，钱财所剩无几，家在千里之外，如何安措父亲，无计可施，真是欲哭无泪。在《读书》（《辛卯岁读书》）一首诗中回忆这事，他写道：“最自忆往岁，病躯久羸尫。呻吟千里外，苍黄值亲丧。母弟各在远，计归恐惊惶。凶祸甘独任，危形载孤艎。崎岖护旅榇，缅邈投故乡。至今惊未定，生还乃非常。”此时，穷困的曾巩就是其父治病和丧葬的费用都拿不出来。而正在困苦之时，杜衍向他伸出了援助之手，曾易占在南京救治的费用和丧葬的费用杜大人全包了，而运载灵柩回乡的船只又是袁太监无偿提供。正是在他们的帮助之下，曾巩才得以将父亲的遗体运回了南丰安葬。对于他们的帮助，曾巩非常感激。他在《祭袁太监文》里写道：“眷然抚我，孰如公尤。先人不幸，托载公舟。”三年守制结束后，曾巩在《谢杜相公书》里回顾当年父亲亡故时孤苦无依又穷困贫寒的情形，对杜衍表达了深深的谢意，他在信里说：
方巩之得祸罚于河滨，去其家四千里之远。南向而望，迅河大淮，埭堰湖江，天下之险，为其阻阨。而以孤独之身，抱不测之疾，茕茕路隅，无攀缘之亲、一见之旧，以为之托。又无至行，上之可以感人利势，下之可以动俗。惟先人之医药，与凡丧之所急，不知所以为赖，而旅榇之重大，惧无以归者。明公独于此时，闵闵勤勤，营救护视，亲屈车骑，临于河上。使其方先人之病，得一意于左右，而医药之有与谋，至其既孤，无外事之夺其哀，而毫发之私，无有不如其欲，莫大之丧，得以卒致而南。其为存全之恩，过越之义如此。
父亲去世后，家庭的重负基本上都压在他的身上，上有老人需要赡养，下有四个弟弟、九个妹妹还要抚育成人。他的最小弟弟肇在《子固先生行状》中说：“光禄不幸早世，太夫人在堂，阖门待哺者数十口，太夫人以勤俭经理其内，而教养四弟，相继得禄仕，嫁九妹皆以时，且得所归，自委废单弱之中，振起而亢大之，实公是赖。”好在此时洪州（今南昌）的知事刘沆周济了他，给他在南丰买了田地，让他有了生存之本。后来，他在《与刘沆龙图启》一信中说：
伏念巩方抱忧哀，且多疾病。贫不得已，则俗事皆当自谋，旅无所容，则世人谁肯见恤？今者伏遇知府龙图给事，恺悌成德，劝勉为怀。忘后进之至微，假温颜而与接。知其孤立，念其数奇。谓其有诗书之勤，则曲加于奖待；谓其有衣食之累，则特甚于矜怜。且使受田之获安，实由为地之至大。
曾巩耕读乡间前后有十年之久。在别人的帮助下不仅买了地，还建了栖身之所。尽管是茅草屋，很简陋，但他还是很满足，毕竟有了自己的“家”。为此，还取了一个很雅致的名字——南轩。他专门写下了《南轩记》，文中记叙了南轩“建造”经过。邻居送给他一块荒地。在那里，他盖起了茅草屋，在四周种起了竹子、灌木，还有蔬菜。住进去后感觉很舒服，颇为怡然自得。他十分珍惜这茅草屋，对他来说珍贵无比，即使有“万乘之富”也不愿意换。他把这篇文章抄录在南轩的墙上。曾巩为什么钟爱那房子呢？他在《南源庄》诗里头给出了答案。他说：“床上不废看青山，门前便踏南涧路。绕墙顿失车马喧，岸帻日得沧洲趣。尝嗟秋蓬转，未有茅屋据。对此耳目新，始觉精爽聚。”这种喜悦的心情在这里也道出来了。他还为南轩门前的竹子写了一首诗，名为《南轩竹》：“密竹娟娟数十茎，旱天萧洒有高情。风吹已送烦心醒，雨洗还供远眼清。新笋巧穿苔石去，碎阴微破粉墙生。应须万物冰霜后，来看琅玕色转明。”他爱这“房子”，爱这里的一草一木，爱这里“心远地自偏”的环境。
曾巩及兄弟们在家乡也是一位农夫，他需要解决一家人的温饱问题。在乡村，那是一日不出力，一日可能就不得食。他是一位青壮年，在家里自然是一个强劳力，他需要耕种与收获。他在《舍弟南源刈稻》这首诗里对当时这种生活有一个真实的记录，诗云：
买田南山下，禾黍忽已秋。糟床待此注，岂止衣食谋。穷阴迫霜霰，不可迟揫收。吾党二三子，晨行已寒裘。久苦城中嚣，至山谅优游。况已除险秽，新堂置岩幽。窗轩众峰出，阶墀水淙流。良材未成种，草树亦已稠。寒花开照耀，谷鸟乐啾啁。心与珍境接，佳兴固已遒。而况馈朝夕，甘美日可搜。黄鸡肥落俎，清酤湛盈瓯。时鲜鲙冰鲫，余滋拆丹榴。此味何以侑？文辞颇赓酬。昼务诫遗滞，夜工督舂揄。因观透穑劳，始觉奉养优。此乐讵非幸，人生复何求？送子固自起，往意不可留。
已是秋收时节，弟弟早晨到南山下稻田里收割庄稼，那优美的环境使他早已忘记了劳作的艰辛，而更多的是快乐，有此快乐人生也无复何求。乡间的忧乐生活，身有体察，他在其他诗作中每每提及。如《种园》诗里说：“於陵为人灌园蔬，我今园地不自种。惰慵苟恃乡井助，缓急孰与朋友共？支离有疾上虽恕，陈平不事家焉用？著书傥得一言利，长者或许酬内讼。”又有《田中作》诗又说：“傍人应总笑为生，病体朝朝踏雨行。红饭白菹妻具饷，青绿水自催耕。止知索寞箪瓢计，岂论谊内素名。胜事山风吹木石，暂如韶夏管弦声。”乡野田间耕作，是要靠天照应的，盼望的是风调雨顺。久雨就盼晴。喜得晴天，他高高兴兴地去田间劳作，归来后写了《喜晴赴田中》，诗云：“自愁雨破西岭出，只看水缘南涧生。青天忽从树杪见，白日渐向谷中明。豳公涤场不可失，陶令负禾须自行。归时小榼搊亦满，固有阿连相伴倾。”
他在乡村耕作，与村里的百姓关系相处得很好，有些朋友还经常造访。这是生活中的一件乐事。他曾作《留山中诸君子见访》诗，诗云：“茅舍开扉胜事稠，况携佳客此中游。妖红落后坚松在，南涧清时野潦收。林带寒烟如水合，山含晴日似尘浮。不嫌淡薄幽人趣，欲进藜羹更少留。”描写在乡间耕读生活的诗还有一些，如《秋日》《青云亭闲坐》《青青间青青》《八月二十九日小饮》《山槛小饮》等。他与村民关系融洽，生活在他们中间，于是对于农村百姓的生活，他有着亲身的体验，感受到他们的辛酸苦辣。为此，他写下了《追租》一诗。诗云：
耕耨筋力苦，收刈田野乐。乡邻约来往，樽酒追酬酢。生涯给俯仰，公敛忘厚薄。胡为此岁暮，老少颜色恶？国用有缓急，时议废量度。内外奔气势，上下穷割剥。今岁九夏旱，赤日万里灼。陂湖蹙埃壒，禾黍死硗确。众期必见省，理在非可略。谓须倒廪赈，讵止追租阁。吾人已迫切，此望亦迂邈。奈何呻吟诉，卒受鞭捶却。宁论救憔悴，反与争合龠。问胡应驱迫，久已罹匮涸。计须卖强壮，势不存尫弱。去岁已如此，愁呼遍郊郭。饥羸乞分寸，斯须死笞缚。法令尚修明，此理可惊愕。公卿饱天禄，耳目知民瘼。忍令疮痍内，每肆诛求虐。但忧值空虚，宁无挺犁镢。暴吏理宜除，浮费义可削。吾卧避嚣喧，兹言偶斟酌。试起望遗村，霾风振墟落。
诗中揭露了天下大旱，百姓闹着饥荒，而政府对于饥民却不救恤，以前该征的照征，以前该收的照收。但面对现实，曾巩又感到自己人轻言微，面对民间疾苦无能为力。
在耕作之余，曾巩总是认真苦读。他在《读书》诗里对这段生活有一个回顾，诗云：“南山对尘案，相摩露青苍。百鸟听徘徊，忽如来凤凰。乃知千载后，坐可见虞唐。”在艰辛的劳动之余，他读了大量的书籍，经史子集，六艺百家都是他阅读的对象。拿他自己的话来说，则是“考先王之遗文，六艺之微旨，以求其旨意所存。”这十年的苦读为他日后的发展打下了坚实的基础，也终使他成为一代之文学大家而名垂青史。在这耕读乡间的日子里，也为他积累丰富的创作题材与内容，在这段时间里，他也写下了大量的诗文。诗如上文所举，文如《墨池记》《学舍记》《南轩记》《宜黄县学记》《抚州颜鲁公祠记》《拟岘台记》《筠州学记》，等等。
在这耕读期间，曾巩办了一生中最大的一件喜事，那就是娶了妻子晁氏。最悲痛的事是亲人去世，这期间除了祖母谢世外，还有他的哥哥晔英年早逝。晔在皇祐五年（1053年）去世，那年晔只有45岁。