元軍講和。文天祥到了元軍大營，卻被伯顏扣留。謝太后見大勢已去，只好獻城納土，向元軍投降。

元軍佔領了臨安，但兩淮、江南、閩廣等地還未被元軍完全控制和佔領。於是，伯顏企圖誘降文天祥，利用他的聲望來儘快收拾殘局。文天祥寧死不屈，伯顏只好將他押解北方。行至鎮江，文天祥冒險出逃，經過許多艱難險阻，於景炎元年（1276）五月二十六日輾轉到達福州，被小皇帝宋端宗趙昰任命為右丞相。

七月文天祥對張世傑專制朝政極為不滿，又與陳宜中意見不合，於是離開南宋行朝，以同都督的身份在南劍州（今址福建南平）開府聚兵，指揮抗元；後入清流境過國母崠作《吊惠利夫人》詩：“百萬貔貅掃犬羊；家山萬里受封疆；男兒若不平強寇；死愧明溪莘七娘。”

冬十月，文天祥轉移到汀州；蓮城、等地，派使參贊吳浚取雩都聯絡各地的抗元義軍，堅持鬥爭。

景炎二年（1277）元兵入汀關；文天祥欲據蓮城拒敵；汀州守將黃去疾聞帝駕下海；擁郡兵有異心。文天祥逐屯兵朋口轉到龍巖。二月，文天祥率軍攻復梅州。四月斬殺跋扈大將二人後至夏；由梅州出兵，進攻江西，此時各地豪傑響應抗元；號令通於江淮。在雩都（今江西于都）獲得大捷後，又轉戰至贛州，以偏師進攻吉州，陸續收復了許多州縣。元江西宣慰使李恆在興國縣發動反攻，文天祥兵敗，妻妾子女失散；收容殘部，奉老母再入蓮城；請命益兵再舉，後轉戰至循州。

祥興元年（1278）夏，文天祥得知端宗已死，繼位的弟弟——趙昺移駐崖山，被任命少保；信國公。為擺脫艱難處境，便要求率軍前往，與南宋行朝會合。由於張世傑堅決反對，文天祥只好作罷，率軍退往潮陽縣。同年冬，元軍大舉來攻，文天祥在率部向海豐撤退的途中遭到元將張弘範的攻擊，兵敗被俘。

文天祥服毒自殺未遂，被張弘範押往崖山，讓他寫信招降張世傑。文天祥說：“我不能保護父母，難道還能教別人背叛父母嗎？”張弘範不聽，一再強迫文天祥寫信。文天祥於是將自己前些日子所寫的《過零丁洋》一詩抄錄給張弘範。

張弘範讀到“人生自古誰無死，留取丹心照汗青。”兩句時，不禁也受到感動，不再強逼文天祥了。

寫《過零丁洋》廿天后，南宋在崖山海戰的慘敗後，陸秀夫揹著八歲幼帝趙昺跳海而死，南宋滅亡。張弘範向元世祖請示如何處理文天祥，元世祖說：“誰家無忠臣？”命令張弘範對文天祥以禮相待，將文天祥送到大都（今北京），軟禁在會同館，決心勸降文天祥。

元世祖首先派降元的原南宋左丞相留夢炎對文天祥現身說法，進行勸降。文天祥一見留夢炎便怒不可遏，留夢炎只好悻悻而去。元世祖又讓降元的宋恭帝趙顯來勸降。文天祥北跪於地，痛哭流涕，對趙顯說：“聖駕請回！”趙顯無話可說，怏怏而去。元世祖大怒，於是下令將文天祥的雙手捆綁，戴上木枷。關進兵馬司的牢房。文天祥入獄十幾天，獄卒才給他鬆了手縛：又過了半月，才給他褪下木枷。

元朝丞相孛羅親自開堂審問文天祥。文天祥被押到樞密院大堂，昂然而立，只是對孛羅行了一個拱手禮。孛羅喝令左右強制文天祥下跪。文天祥竭力掙扎，坐在地上，始終不肯屈服。孛羅問文天祥：“你現在還有什麼話可說？”文天祥回答：“天下事有興有衰。國亡受戮，歷代皆有。我為宋盡忠，只願早死！”孛羅大發雷霆，說：“你要死？我偏不讓你死。我要關押你！”文天祥毫不畏懼，說：“我願為正義而死，關押我也不怕！”

從此，文天祥在監獄中度過了三年。在獄中，他曾收到女兒柳孃的來信，得知妻子和兩個女兒都在宮中為奴，過著囚徒般的生活。文天祥深知女兒的來信是元廷的暗示：只要投降，家人即可