在被押往京师（大都）的路上，文天祥只想速求一死落个清白，他绝食八日，竟没有死成，真是人倒霉喝凉水都不让你痛快。可是就在这时候，不知为什么，文天祥突然改变了主意，不再闹绝食了。
等到了大都以后，元朝廷给文天祥的待遇非常优厚，文天祥内心非常不安。他不到给自己安排好的舒适住处去休息，而静坐达旦，一个人黯然、悲戚。这是明显的不合作态度。元方看他软的不吃，就来硬点的，将他转移软禁到了兵马司，“设卒以守之”。
当时元世祖忽必烈想要在新征服的南宋的官员中选拔一些有才干之士为元政权服务，他的手下大臣王积翁便这样说道：“南宋朝的官员中谁也不及文天祥（那样出类拔萃）。”忽必烈就让王积翁拟旨征召文天祥，而文天祥却回复说：“国家灭亡了，我本该一死。今日如果朝廷宽恕我，那么就让我作为一个道士回到故乡吧，这样朝廷一旦有事还可以让我作为一个顾问人员来参与政事。而如果仓促之间让我做官，那么我从前的作为与今天改事新主的作为之间不是非常矛盾吗？那朝廷重用我这样的不忠不义之人还有什么意义呢？”有的人认为这是文天祥想出的一个权宜之计，似乎他对恢复宋室还不死心；当然，也有人认为他在家国败亡的情形下可能确实感到心灰意冷了，情愿做一个不问时事的“方外”之人。
王积翁觉得文天祥的话很有道理，就联合南宋投元的官员谢昌元等十人向朝廷请求“释天祥为道士”，可是，这件事却受到了无耻投元的原南宋丞相留梦炎的阻挠，他上书对忽必烈说：“假如果真把文天祥放出，他再回到江南振臂一呼，重新拉起反元复宋的大旗，那么我等（弃宋保元的）十人还有何颜面活在世上呢？”这个家伙的奏疏果然发挥了效用，“事遂已”。
就这样，文天祥被拘押在大都三年。三年中他虽然饱尝牢狱之苦，可是始终坚贞不屈。其中有一次文天祥在狱中竟接到了女儿柳娘的书信，得知妻子和两个女儿都在宫中为奴，过着囚徒般的生活；这是元朝廷想以亲情诱使他就范啊，可是孤愤中的文天祥什么都顾不得了，他不能不坚守住民族大义、国家大义。他在写给自己妹妹的信中这样说：“收柳女信，痛割肠胃。人谁无妻儿骨肉之情？但今日事到这里，于义当死，乃是命也。奈何？奈何……可令柳女、环女做好人，爹爹管不得。泪下哽咽哽咽……”（明·朱存理《铁网珊瑚》卷四）。
忽必烈拿文天祥实在没有办法，就与宰相们商议要释放他。可是又有人上书反对这件事，他们的理由是文天祥曾经在江西起兵与大元朝廷做对（可能认为文天祥应该属于不能被宽赦的战犯行列，或者如果释放了文天祥可能会更坚定那些南宋遗民的反元决心），结果还是没被释放。雄才大略的忽必烈确实很矛盾啊。
至元十九年（1282年），有一个福建的和尚“言土星犯帝坐，疑有变”，不是什么好兆头，怀疑天下将有什么动荡。今天的人大多不相信这些封建迷信的东西，可是在古代那怎么说也是非同小可的，自然会引起朝廷的重视。又过了不久，中山地区（约在今河北中北部一带）有“狂人”自称“宋主”，拉起了一千多人的队伍，还扬言要救出狱中的文天祥。京城中也沸沸扬扬地开始流传起一些类似的传言，元朝廷为此感到很不安。为了免除后顾之忧，忽必烈向文天祥下了最后通牒：“汝何愿？”文天祥回答道：“天祥受宋恩，为宰相，元世祖忽必烈像安事二姓？愿赐之一死足矣。”他只求一死。忽必烈仍然感到有所不忍，犹豫着拿不定主意。朝廷那些参与议论此事的大臣一致同意答应文天祥的请求（以此成全他的名节从而使之彰显后世），忽必烈只得尊重大家的意见。为防夜长梦多，宣布马上给予文天祥死刑。可是，过了不多时忽必烈又反悔了，“俄有诏使止之，天祥死矣”，可是文天祥这时候已经被处死了（《宋史》是元朝人修的，不知道这是不是在美化忽必烈）。
文天祥的确是死了，他死的时候“临刑殊从容”，面不改色心不跳，只是对那些给他执行死刑的刽子手们说：“我所能做的就只是这些了。”然后向南面（南宋朝廷的象征）深深地拜了一回，就英勇就义了，虚岁四十七。过了几天，他的妻子欧阳氏来为他收尸，“面如生”，没有一点死灰之色。从他的衣带中还翻检出了这样一段赞辞：“孔曰成仁，孟曰取义，惟其义尽，所以仁至。读圣贤书，所学何事，而今而后，庶几无愧。”