这次被罢官，使文天祥对官场的丑陋更加深恶痛绝。如前所述，他给友人朱埴写了一封信，满腔的怨愤倾注笔端：
仆十年受用，顺境过当。天道反覆，咻者旁午。七八月以来，此血肉躯如立于砧几之上，齑粉毒手，直立而俟之耳。仆何所得罪于人？乃知刚介正洁，固取危之道，而仆不能变者，天也！
这段话是痛诉，又像是在言志。“仆十年受用，顺境过当”，这反讽的言辞中激溅着冤愤，七八个月来，又何止七八个月，而是十年来，自理宗景定元年（1260）任建昌军仙都观主管，而秘书省正字，而殿试考官，而著作左郎，而知瑞州，而江西提刑，而尚书左司郎官，而知宁国府，而军器监兼崇政殿说书，兼学士院权直，兼玉牒所检讨官，自己一路追求内圣外王的人格理想，以忠君报国的社会担当，坚持行公道直道，犯颜皇上，乞斩董宋臣，对抗贾似道，因此在人心狡诈险恶、是非黑白颠倒的官场上四次罢官，三次被逐，于此也不会屈服，不能夺志，反而愈挫愈奋、愈斗愈勇，誓不与巧佞邪媚的鸟兽同群，誓不与曲学阿世之辈为伍，立于天地本性不改，纵然粉身碎骨也在所不惜。
“某生而肮脏，分也嵚崎。”肮脏原意指高亢刚直的形象，文天祥在诗文中多以肮脏自况：“肮脏难合，今世道病。”“我生独肮脏，动取无妄疾。”“伏念某，学极支离，性惟肮脏。”“某肮脏一世之沉浮人也。”对假道学盛行、士大夫日益无耻的官场，文天祥表示：“某碌碌不如人，独有愚憨，不能改其素。”发誓要自拔于流俗，坚持自己的操守。
罢令下与不下，文天祥都打点好了行李，绝尘而去。
回到家乡富川正是九月，文山用斑斓的景色和温馨的情调拥抱了他。此后写的《山中六言三首》，描写了这样的意境：
两两渔舟摇下，双双紫燕飞回。
流水白云芳草，清风明月苍苔。
鹤外竹声簌簌，座边松影疏疏。
夜静不收棋局，日高犹卧纱厨。
风暖江鸿海燕，雨晴檐鹊林鸠。
一段青山颜色，不随江水俱流。
无论春夏秋冬，这就是文天祥心中的文山。自咸淳六年（1270）九月回到文山，他就在这样的氛围中读书写作，邀友人来山中饮酒和诗、弹琴赏景、钓鱼游泳，直到咸淳九年（1273）五月赴任湖南提刑，过了两年半闲云野鹤的日子。
在山中修一座山庄，是文天祥的一个心愿，但许多年只断断续续修了亭、桥和山路。这次回到文山，终于建起了住宅，其坐北朝南，占地一亩左右。
厅堂上梁之日，他依照俗例写上梁文，把文山山庄比作李愿在太行山上的盘谷，朱熹在武夷山上的桃源，以及白居易在庐山上的草堂。他将在此“举寿觞，和慈颜”，“濯清泉，生茂木”。
山庄竣工，他把家眷接进山，奉亲课子，在青山绿水间同享天伦之乐。
文天祥有三位夫人，正室欧阳氏，次夫人颜氏与黄氏。与三位夫人共育二子五女。长子道生，次子佛生，五女依次为柳娘、环娘、监娘、奉娘与寿娘。根据现有记载，长子道生咸淳二年（1266）九月生，次子佛生咸淳三年（1267）正月由黄氏所出，柳娘与环娘也在这一年由颜氏所生，另三个小女生辰不详。还可以肯定的是，前四名子女都是在上一次被罢官回乡，开辟文山期间出生。
这次在文山生活的两年半时间里，道生、佛生、柳娘与环娘的年龄都在四五岁到七八岁之间，正值启蒙年龄。可以想象，文天祥一定会像父亲文仪一样，对孩子开始了严格的早期教育。文天祥后来写道：“予二子，长曰道生，资性可教。” 大弟文璧后来也记述道：佛生“为儿有巨人志，及成童，双瞳炯然，天资俊伟，书过辄成诵，父老畏其岌嶷”。文天祥对二子抱有美好的期待。
还值得一提的是，与友人下棋也是这个时期的一大乐趣。文天祥爱下棋，竟自创了四十局势图象棋棋谱，“公平生嗜象弈，以其危险制胜奇绝者，命名自‘玉金鼎’至‘单骑见虏’为四十局势图，悉谶其出处始末。玉盖公所居山名也”。他棋瘾很大，夏天喜欢以意为棋盘，在水里与人下盲棋，一局接着一局，下得久了，对手因在水中泡得吃不消都跑了，他却愈久愈乐，早晚乐在其中，还常烫酒品棋。
文天祥嗜棋，对手无人能敌。他的棋艺有多高超？他有几个常在一起下棋的棋友，一是周子善，一是肖耕山，还有邻里刘沐、刘定伯。按文天祥的排名，他自己的棋艺第一，周子善第二，肖耕山第三，最后一名不好排，就让刘沐与刘定伯并列第四。刘定伯“嗜弈，最入幽眇，兔起鹘落，目不停瞬，剥解摧击，其势如风雨不可御”，棋艺如此潇洒也只能排末尾；而刘沐的棋艺更是“坐踞河南百战雄，少年飞槊健如龙”，他竟要“穷思一日夜”方能与文天祥对垒，可见文天祥的棋艺之高。
由此看来，山居的日子就像山中的风景一样斑斓美好。
文天祥的心情，真的就是这山中生活的镜像吗？这真的就是他的美好生活吗？
起初或许是这样，他刚从糜烂险恶的官场归来，需要宁息心中的郁愤，安顿与调养屡屡受到的创伤，他在给友人刘民章的信中写道：“诗云‘京洛多风尘，素衣化为缁’。又云‘羁鸟恋旧林，池鱼思故渊’。青山屋上，流水屋下，归来自有乐地。”但这绝不是他的追求，这样的生活不合他的品性，退居文山是迫不得已的事。他在给另一位友人卓大著的赠诗中曾表露：“天之生贤才，初意岂无为。民胞物同与，何莫非己累。”在文山，他的内心深处，仍时时忱念着百姓忧乐，忱念着国家的安危和命运，期望能补世益时，在肩头承担起一份责任。
就在文天祥回到文山的当年，江南多地逢大旱，吉州粮食歉收，交了官府的征粮，农户所存无几，人们纷纷跑到邻县龙泉、永新买米，两县也不宽裕，不让粮食出境。以往遇到灾情，文家还开仓接济乡民，这年也拿不出粮食来。文天祥急乡民所急，想方设法解饥荒之困，听说赣州粮食丰收，因知州李雷应与自己是同年进士，就写信向李雷应求援。写了信还不算，因赣州山多地少，正常年份产粮不及吉州，对粮食出境管控很严，怕自己一个赋闲之人说了力度不够，又请知吉州江万顷写信与李雷应通情。江万顷是知州，又是江万里的弟弟，面子恐怕要大些。此事可见文天祥关切民生的殷诚之心。
文天祥回到文山的第二年，咸淳七年（1271），忽必烈在巩固了内部的统治地位后，正式建国号为“大元”。这一年，蒙古军加紧了对战略要地襄樊的攻势，并为切断宋军援路和粮道，调动各路兵马把守在水陆要道。六月，击败宋将范文虎率领的十万趋援舟师，夺战船百余艘。不久，又击溃夏贵的兵马，缴获舟船数百。
前线吃紧的消息传到文天祥耳中，在他心中掀起阵阵狂澜。他在诗中写道：“故人书问至，为言北风急。山深人不知，塞马谁得失？挑灯看古史，感泪纵横发。”国难当头，自己却羁留深山，只能从书中的历代兴亡史联想到国运，徒抛感愤的泪水呀。他又写道：“青春岂不惜？行乐非所欲。采芝复采芝，终朝不盈掬。大风从何来，奇响振空谷。我马何玄黄，息我西山麓。”谁愿在山中空挨这无聊的时光？前线的消息震动山谷，而我就像病马被缚住了奔腾的四蹄呀！
“少年成老大，吾道付逶迤。”痛苦啊，痛苦啊！国难当头，大丈夫当挺身而出，或运筹于帷幄或驰骋于疆场，尽一己之力杀敌立功，然而自己却被奸臣贬谪山中，难道少年时立下的宏愿就这么付诸东流了吗？“终有剑心在，闻鸡坐欲驰。”焦虑啊，焦虑啊！雄心壮志虽屡经顿挫，却丝毫未减，虽身处江湖，却心存魏阙，当年晋朝的爱国志士祖逖和刘琨心怀澄清中原之志，闻鸡起舞相互激励，如今想起他们就心驰神往，热血沸腾，随时准备投奔战场，报效国家呀。
时危一日紧似一日。咸淳八年（1272）三月，刘整、阿里海牙统领的元军攻破樊城外郛东土城，宋守军两千余人全部战死。此时，经过四五年之久的围困，襄樊城内食盐、柴薪、布帛等物资极度匮乏，形势万分危急。到了这个时候，被派增援襄樊的殿前副指挥使范文虎，仍不听李庭芝调遣。援军上不去，万般无奈，李庭芝只得悬重赏从襄阳、郢州、山西招募骁悍善战的民兵三千人，以智勇服众的张顺、张贵为都统，组成敢死队，摧毁元军拦截江面的数百根铁链，突破重围，终于在五月二十五日黎明抵达襄阳城下。张顺在战斗中身中四枪六箭，死后还怒瞪双眼，满脸杀气。
八月，张贵派人潜水出城，到郢州向范文虎求援，约定在龙尾洲会师。范文虎本是奉贾似道之命前来牵制李庭芝的，他曾给贾似道写信说：“我将兵数万入襄阳，一战可平。但愿无使听命于京阃（指李庭芝），事成则功归恩相矣。”他表面上答应了张贵的请求，却于会师之日前夕退后了三十里。而元军却因得到宋军逃兵的报告，事先设下埋伏，当张贵率水军拼死破围而出，进至小新城时，遭到迎头拦击，致全军覆没，张贵身受数十创被俘就义。
襄樊风雨飘摇。整个南宋风雨飘摇。
而报国无门的文天祥却有劲使不上，有志无处伸，山中的死寂受够了，当初悠闲的心情早已荡然无存。他真实的内心愈来愈凸显出来。他在给友人谢爱山的诗文中写道：“桑弧未了男子事，何能局促甘囚山。”溪山泉石四妙毕具的文山，而今在他看来，石已经成了压在心头的心事，泉是映照憔悴的镜子，溪是匆匆流逝的岁月，山壁就像牢狱难以逾越的围墙，文山已经成了锁住男儿志向的囚山了。但这又能如何，他的胸中仍燃烧着希望和激情，“簸扬且听箕张口，丈夫壮气须冲斗。夜阑拂剑碧光寒，握手相期出云表”。那些奸佞小人的诽谤排挤算得了什么呢，大丈夫气冲牛斗，以月为石磨利寒光闪闪的龙泉剑，随时准备冲出山门驰国杀敌！
他也曾托人向朝廷表达心意。听说长江要津江洲（江西九江）知州空缺，便想去江州，为此写信给江洲友人李与，让他代为与朝廷疏通。“相望一方，精神驰往” ，他的心情是迫切的，结果却不了了之。
朝廷似乎也没忘记他。咸淳七年（1271）冬至，朝廷任命他为湖南运判，可前脚任命刚到，后脚罢令也到了，还没赴任，就被台臣陈坚奏罢了。这也是他第五次被罢官。
明代学者罗洪先在为重刻《文天祥全集》写的序中总结说：
始，先生弱冠及第忧归。四年，授京兆幕，未上而边遽起，董奄力主和议，首应诏数其罪，乞斩之，以安社稷，且自罢免。既改洪州，复自罢。寻用故事，以馆职召，进刑部郎，而董奄复用，即又上疏求罢。自知瑞州，转江西提刑，为台臣论罢。后兼学士，为福建提刑，即又连论罢，如江西。已而，权学士院，草制忤贾似道，嗾台臣劾之，罢其少监。及除湖南运判，又论罢之。遂引钱若水例，致仕去。
他为此评述说：“人之遭蹉跌者，往往回顾而改步。三已不愠，古人难之。今罢而仕，仕而复罢，经历摧创，至于六七。志愈坚，气愈烈，曾一不以自悔，此其中必有为之所者矣。”
文天祥终于病了，被郁闷击倒了，在床上躺了两个月。友人来信慰问，他回信说：“山中度日如年，落叶肖肖，凉月堕砌，起视寥泬，安得知己，握手长吟，写胸中之耿耿，以相慰藉耶？”在山中的每一天都经受着煎熬，个中的痛苦有谁能知？然而天地不息，他的心志亦不息，他仍然“梦与千年接，心随万里驰”，仍是“睡余吸海龙身瘦，渴里奔云马骨高”。他无时无刻不想振衣而起、吸海奔云。
咸淳九年（1273）正月，与他感情深挚的欧阳守道老师病逝了。噩耗传来，文天祥大恸，亲往戴孝追悼，并写了《祭欧阳巽斋先生》一文。老师治学“求为有益于时用，而不为高谈虚语，以自标榜于一时”；老师道德高尚，“常恐一个寒，常恐一人饥，而宁使我无卓锥”。这样的人本应受大用，但却落寞一生，至死家无一钱。文天祥甚为不平，“以先生仁人之心，而不及试一郡，以行其惠爱；以先生作者之文，而不及登两制，以仿佛乎盘诰之遗；以先生之论议，而不及与闻国家之大政令；以先生之学术，而不及朝夕左右，献纳而论思”。
公道直道何在！老师身上有自己的影子，自己身上有老师的影子。他为欧阳守道鸣不平，也在宣泄胸中的块垒，宣泄着自己胸中之耿耿。
也就在这个月，朝廷任命他为湖南提刑的诏令传到了文山。