公元947年，契丹攻入大梁，后晋灭亡，两个月后，就在辽太宗耶律德光留下“没想到中原人民如此难以统治”的感慨率军北归之时，后晋太原王、北京留守刘知远在晋阳称帝，史称后汉。
出生于太原的刘知远是沙陀族人，他的父亲在李克用军中任职，他则在李嗣源麾下效命。李嗣源与后梁军对战于德胜时，大将石敬瑭受到梁军袭击，马具断裂，危难时刻，刘知远将自己的战马交给石敬瑭，自己则骑上石敬瑭的战马为他断后，石敬瑭深受感动的同时也对他的勇武留下了深刻印象。十四年后，石敬瑭在出任北京留守时，奏请宗庄李嗣源，将器重已久的刘知远招至麾下。
刘知远沉默寡言，生活简朴，治军极为严谨，石敬瑭因此将晋阳军务交给他来处理，刘知远与主管财政的周环一起成为石敬瑭治理河东的主要助手。
公元936年，就在石敬瑭与后唐李从珂决裂前夕举棋不定的时候，刘知远说：明公统军多年，从望所归，凭借晋阳的有利地势和精锐部队，一定能够成就霸业，怎么可以受制于一纸诏书而自投虎口呢，在他和桑维翰的建议下，石敬瑭最终下定了起兵的决心。但是，就这在背水一战凶险莫测的时刻，刘知远依然保持着清醒的头脑和长远的眼光，当石敬瑭为了借助契丹力量而准备自称儿皇帝时，刘知远劝说道：对契丹称臣就可以了，行以父亲之礼就实在有些过分，只要用丰厚的财物去贿赂，就足以使契丹出兵，根本不必承诺向他们割让土地，那样只怕会使契丹成为中原大患而追悔莫及。然而，一意孤行的石敬瑭早已是一叶障目，不见泰山，最终给自己留下了千古骂名。
石敬瑭起兵后，后唐大将张敬达率兵五万包围晋阳，负责晋阳军事的刘知远对待嫡系部队和此前陆续归附的各藩镇军队以及城中的百姓都一视同仁，军纪严明，在他的指挥下，仅有五千兵马的晋阳城得以坚守两个多月。刘知远的统驭能力和军事才干也深得耶律德光的赏识，在他北归之际，指着刘知远嘱托石敬瑭说：这员大将可以委以重任，没有大的过错不要弃用。
正是凭借着为后晋开国而立下的汗马功劳，刘知远与石敬瑭的妹夫杜重威一起被委以重任，但是，庸劣无能的杜重威是凭借着裙带关系得以升迁，刘知远深以为耻，拒不受命。石敬瑭被刘知远孤傲的性格激怒，准备削夺他的兵权让他下岗回家，在宰相的劝说下，刘知远勉强受任，但从此与后晋王朝产生了罅隙。这里再多述一笔，正是这个杜重威，日后被后晋出帝石重贵付以倾国之兵委以北伐重任，但他却率领二十大军火线降敌，最终导致后晋灭亡，当石重贵北狩途中望见杜重威的军营时，这个昔日尊贵的一国之主嚎啕大哭：天呐，我家究竟哪里辜负了你，竟被你断送了家业！开门揖盗的杜重威后来被迫投降刘知远，刘知远去世前下令将他处死。
公元941年，刘知远被任命为北京留守，蛟龙得云雨，非复池中物，一旦踏入晋阳这个龙兴之地，野心勃勃的刘知远就开始重复李渊、李存勖、石敬瑭相同的故事。
刘知远到晋阳不久，就招降了山西北部的游牧民族士谷浑部，但这个民族行为放纵，违反法律的事情经常发生，刘知远对此予以严厉的制裁，一部分土谷浑人于是北逃归降了契丹。刘知远担心土谷浑部发生变乱威胁晋阳的安全，找来大将郭威商议对策，郭威听说土谷浑首领白承福十分富有，喂马用的都是银槽，于是建议夺取他的资财充当军费。不久，郭威引诱白承福等人住进晋阳城，然后诬陷他们谋反，诛杀了四百余人，土谷浑部从此衰落。有意思的是，逃归晋北的土谷浑部在四十年后，又随同雍熙北伐的西路军南撤，被宋王朝安置在了河南一带。
石重贵即位后，后晋对契丹的态度发生了改变，两国之间的战争爆发，刘知远曾经三次击退契丹对山西的进攻，但心怀异志的刘知远除了保境安民之外，对后晋王朝出征的诏令或置之不理，或逗留不前，手握重兵却始终是坐观成败而不发一兵一卒出晋施以援手，趁着乱世在晋阳为自己积累起了一支五万人的大军。
公元947年，契丹攻入大梁，后晋灭亡，整个中原处于一片混乱之中。当时，后晋王朝的各地节度使被迫前往大梁晋见耶律德光，刘知远则仅派遣使者前往，从而树立起了良好的形象。
就在这个时候，一个不愿向契丹投降的节度使何建归附了西南的后蜀，刘知远感慨道：胡人入侵，中原无主，致使藩镇向外投靠，我身为一方主帅，实在感到惭愧。而在此之前，刘知远的大将郭威也对刘知远说：河东地区山川险固，盛产战马，当地百姓崇尚勇武，和平时期勤于耕作，一旦发生变乱就加入军旅，这是成就霸业的资本呀。刘知远手下那些渴望建功立业谋取富贵的将士们也都纷纷劝说他早日称帝。
公元947年二月十五日，就在中原地区民怨沸腾，契丹的统治开始动摇的时候，众望所归的刘知远抓住时机，在晋阳称帝，仍沿用后晋年号。
刘知远起兵之初，曾打算向百姓摊派以犒赏士卒，皇后李氏劝说道：陛下倚靠河东开创大业，还没有对百姓施以恩惠就要去掠夺他们的财物，这恐怕不是新天子救民于苦难的本意吧。请改用后宫的积蓄来赏赐将士，虽然并不丰厚，但不会招来怨言。刘知远听从了李氏的劝谏，改用内府犒赏将士，此事一时被传为美谈。
值得一提的是，这位家在太原的李皇后竟是刘知远微贱时强抢而来的，他们之间的这段传奇姻缘后来被演绎为元曲《白兔记》。
这一年三月，耶律德光引兵北归，刘知远率军南下，契丹留守官吏纷纷投降，刘知远没有费什么周折就一路顺风地进入了大梁，不久改国号为汉，史称后汉。