善于统兵打仗的将领要能屈能伸，其意志刚强却不可固执己见，性格柔顺却不可软弱。因此能够以弱制强，以柔克刚。
南征结束后，接下来自然是承续刘备建立的蜀汉王朝的任务，北伐曹魏，兴复汉室，诸葛亮为此在积极谋划着。
在诸葛亮47岁那年，夫人黄月英为其生下了长子诸葛瞻，小妾韩慧也怀上了孕。年近半百得子，使诸葛亮夫妇都异常高兴。原先，因为无嗣，兄长诸葛瑾把儿子诸葛乔过继给诸葛亮为养子。诸葛亮曾对他严格教育，写下了《与兄瑾世子乔言书》。现得了亲子，诸葛亮立即写信给兄长报喜，派人送到东吴去。
曹操死后，魏主曹丕在位七年，到蜀汉建兴四年，曹丕因寒疾不痊而薨，时年40岁，其孺子曹睿即位。
同年，骠骑大将军司马懿上表大魏皇帝，要求镇守西凉等地，曹睿准奏，封司马懿为提督。
诸葛亮听到报告不由大惊，司马懿深有谋略，必为蜀国大患。参军马谡对诸葛亮道：“司马懿虽然是魏国的大臣，但曹睿一向对他怀有戒心。我们不如派人秘密潜往洛阳等地，散布流言，说司马懿想要造反，借曹睿杀了他。”
诸葛亮用了马谡之计。果然不久，曹睿中了马谡的反间计，只因疑心是吴蜀奸细所为，所以未杀司马懿，罚其削职回乡。
诸葛亮闻听司马懿中计遭贬，大喜。第二天后主早朝，大会官僚。诸葛亮上《出师表》欲北伐中原，以申述出兵中原之大义。
《出师表》中奏道：“臣本是一介平民，在南阳耕田种地，只想在乱世之中保全性命，未曾想在天下显身扬名。先帝不因为臣卑贱，反而降低身份，三顾臣于草庐之中，询问天下大事，臣非常感激，于是答应为先帝奔走效劳。后来正赶上荆州大败，臣受任于败军之际，奉命于危难之间，迄今已21年了。先帝知道臣小心谨慎，所以在临终之时把国家大事托付给臣。从接受遣命以来，臣日夜都在忧叹，唯恐辜负了先帝的厚望，有损于先帝的知人之明。所以，臣在五月里渡过泸水，深入不毛之地，平定了南方。现在南方已经安定，国家兵甲已足，应动员三军，北伐中原，这是臣对先帝的报答，也是效忠陛下应尽的责任。”
诸葛亮一番陈词，慷慨而情深，大义而忠烈，既为报知遇之恩，也是尽为臣之责。
随即诸葛亮又下了一道讨伐曹魏的诏书，进一步使北伐中原的行动出师有名，得到全国人民的支持。据有荆、益，南抚夷越，夺取中原，兴复汉室，是《隆中对》制定的战略决策。
征服南中，是诸葛亮整个军事战略计划一部分，他的最终目标并非偏安一隅，而是要北伐中原，统一中国，匡扶汉室。
因此，征服南中返回成都后，诸葛亮立即开始准备北伐中原之事。第二年六月，诸葛亮揪住孙吴政权两次向曹魏起兵之机，决定挥师北伐，以完成先帝刘备之遗志，了却他自己平生宏愿。
诸葛亮说：“臣受先帝托孤之重担，夙夜不曾有所懈怠。现在南方已经平定，可以没有内顾之忧了。不趁此时讨贼，恢复中原，又更等何时！”
这时班部中太史谯周走出来奏道：“臣夜里观天象，北方旺气正盛，未必能够取胜。”之后对诸葛亮言道，“丞相十分了解天文，为何强要去北伐呢？”
诸葛亮说：“天道变化无常，怎能过于拘谨固执？如今我将军马驻扎在汉中，观北魏的动静再做行动。”
于是，诸葛亮留下内外文武一百多人，一同治理蜀中之事，自己点将出师。后主带领百官，一直送出成都北门外十多里路。诸葛亮辞别后主，旌旗蔽野，戈戟如林，率军往汉中逶迤进发。
这次北伐，几乎动用了蜀汉所有的将领，名曰30万，其实只有五万左右，显然诸葛亮并未倾巢而出。
蜀汉建国不久，加上刘备去世，北伐虽然重要，内部稳定更是生死关键。首先是廖立，恃才自傲，争官夺利，诽谤别人。诸葛亮严明执法，对其进行弹劾，廖立被免去官职，废为平民，流放到汶山郡。
再就是朝廷重臣李严，个人野心急剧膨胀。他劝诸葛亮受九锡之礼，晋爵称王，就像曹操对汉献帝那样。他这样做的目的，是让诸葛亮带上不忠逆臣的罪名，让诸葛亮倒台，自己好取而代之，诸葛亮不同意，对其进行了驳斥。
后李严要求划出五个郡建立巴州，由他出任刺史，企图与朝廷分庭抗争，遭到诸葛亮的严词拒绝。后来李严由于误送军粮，反推卸职责，欺君罔上，被流放于梓潼郡。
诸葛亮率领大军抵达陕西与四川交界的阳平工，即今陕西勉县西北后，诸葛亮决定不直接从陕南出兵攻取民收、咸阳等地，而是迂回用兵，先取陇右，以形成对曹军西线的威势，再从西向东全线出击。
当诸葛亮的军队西出祁山、突然出现在陇右地区时，驻陇魏军毫无防范，纷纷溃败投降。
诸葛亮很快就占领了南安，即今甘肃陇西东南。天水，即今甘肃通谓西北和安定，从南至北，清除了陇右的魏军，并派兵进驻街亭，即今甘肃秦安东北，以扼守陇西至关中的咽喉要道。
诸葛亮自出师以来，累获全胜，心中甚喜。一日正在祁山西城，即今陕西安康北会众议事，忽报魏主曹睿面诏司马懿，恢复官职，即将起兵平西。诸葛亮大惊道：“我所忧患者，就是司马懿这个人。”
曹睿闻知蜀军已出兵陇西，亲率大军坐镇长安，派大将张郃领五万军队赴西线迎敌，两军在街亭相遇。
诸葛亮到了祁山，决定派出一支人马去占领街亭，作为据点。让谁来带领这支人马呢？当时他身边还有几个身经百战的老将。可是他都没有用，单单看中参军马谡。
马谡这个人确是读了不少兵书，平时很喜欢谈论军事。诸葛亮找他商量起打仗的事来，他就谈个没完，也出过一些好主意。因此诸葛亮很信任他。但是刘备在世的时候，却看出马谡不大踏实。他在生前特地叮嘱诸葛亮，说：“马谡这个人言过其实，不能派他干大事，还得好好考察一下。”
但是诸葛亮没有把这番话放在心上。这一回，他派马谡当先锋，王平做副将。
马谡和王平带领人马到了街亭，张郃的魏军也正从东面开过来。马谡看了地形，对王平说：“这一带地形险要，街亭旁边有座山，正好在山上扎营，布置埋伏。”
王平提醒他说：“丞相临走的时候嘱咐过，要坚守城池，稳扎营垒。在山上扎营太冒险。”
马谡没有打仗的经验，自以为熟读兵书，根本不听王平的劝告，坚持要在山上扎营。王平一再劝马谡没有用，只好央求马谡拨给他1000人马，让他在山下临近的地方驻扎。
张郃率领魏军赶到街亭，看到马谡放弃现成的城池不守，却把人马驻扎在山上，暗暗高兴，马上吩咐手下将士，在山下筑好营垒，把马谡扎营的那座山围困起来。
马谡几次命令兵士冲下山去，但是由于张郃坚守住营垒，蜀军没法攻破，反而被魏军乱箭射死了不少人。
蜀军在山上断了水，连饭都做不成，时间一长，自己先乱了起来。张郃看准时机，发起总攻。蜀军兵士纷纷逃散，马谡要禁也禁不了，最后，只好自己杀出重围，往西逃跑。
王平带领1000人马，稳守营盘。他得知马谡失败，就叫兵士拼命打鼓，装出进攻的样子。张郃怀疑蜀军有埋伏，不敢逼近他们。王平整理好队伍，不慌不忙地向后撤退，不但1000人马一个也没损失，还收容了不少马谡手下的散兵。
由于马谡拒谏，致使战略重地街亭失守。诸葛亮顿足长叹道：“大势去矣！这都是我用人不当的过错啊！”
于是密传号令，教大军暗暗收拾行装，以备起程退回汉中。又派心腹之人，分路去报告天水、南安、安定三郡的官军和百姓，全都撤入汉中地区。
诸葛亮分拨已定，忽然十几次飞马来报说：“司马懿引大军15万，望西城这边蜂拥而来！”
诸葛亮这时身边没有别的大将，只是一班文官，所带的5000军士已派出一半先运粮草去了，只剩下2500人在城中。
众官员听到这个消息，全都大惊失色。诸葛亮登城眺望，果然尘土冲天，魏兵分两路往西城杀来。诸葛亮传令：“将旗帜全部藏起来，诸军各守城铺，若有自行出入或高声讲话的，立即斩首。大开四面城门，每道门用20个军士，扮作百姓的样子，洒扫街道。魏兵来到的时候，不许擅自行动，我自有计策。”
诸葛亮仍身披鹤氅，头戴纶巾，领两个小童携一张古琴，来到城上敌楼前凭栏而坐，焚香操弦。
司马懿的大军前队来到城下，见到这般情景，全都不敢进城。司马懿不信，叫三军停住，亲自飞马过去，远远地观看，果然见诸葛亮坐在城楼上，笑容可掬，焚香操琴。
左边站着一个童子，手捧宝剑；右边站着一个童子，手执凤尾。城门内外，有二十来个百姓低头洒扫，旁若无人。司马懿一见心中大惑不解，便来到中军，叫后军变前军，前军变后军，向北山退去。
司马懿的儿子司马昭道：“说不定诸葛亮城中没有军，故意作出这种姿态？父亲为何就退兵了呢？”
司马懿道：“诸葛亮平生谨慎，没有冒过险。今日大开城门，必有埋伏。我军若攻进城，一定会中他的计。所以应当速速退兵。你这小辈懂个什么？”
诸葛亮见魏军走远了，大笑起来。众官无不惊骇，问诸葛亮道：“司马懿可是魏国名将，今日统率15万精兵来到这里，一看见丞相掉头便走，这是为什么呢？”
诸葛亮道：“他料我平生谨慎，从不冒险行事，而今日这般大模大样，一定是城中藏有伏兵，所以就后退了。其实并不是我冒险，而是我迫不得已。他一定带军往北山小路去了，我已令兴、包二将在那里等候。”
众人听罢都惊异地叹服道：“丞相玄机，神鬼莫测。要是依我们这些人的意见，早就弃城而逃了。”
诸葛亮说：“我们这里只有2500军士，要是弃城而走，必不能走远，还不被司马懿给抓住？”说完拍手大笑，道，“我要是司马懿，就不退兵。”
然后下令叫西城百姓随军一同迁往汉中，并说：“司马懿还会来的。”于是诸葛亮便离开了西城，往汉中而去。
蜀军失去了重要的据点，又丧失了不少人马。诸葛亮为了避免遭受更大损失，决定把人马全部撤退到汉中。
诸葛亮回到汉中，经过详细查问，知道街亭失守完全是由于马谡违反了他的作战部署。马谡也承认了他的过错。诸葛亮按照军法，把马谡下了监狱，定了死罪。
马谡自己知道免不了一死，在监狱里给诸葛亮写了封信，说：“丞相平日待我像待自己的儿子一样，我也把丞相当作自己父亲。这次我犯了死罪，希望我死以后，丞相能够像舜杀了鲧还用禹一样，对待我的儿子，我死了也没牵挂了。”
诸葛亮杀了马谡，想起他和马谡平时的情谊，心里十分难过，流下了眼泪。以后，他真的把马谡的儿子照顾得很好。
诸葛亮认为王平在街亭曾经劝阻过马谡，在退兵的时候，又用计保全了人马，立了功，应该受奖励，就把王平提拔为参军，让他统率五部兵马。
诸葛亮对将士们说：“这次出兵失败，固然是因为马谡违反军令。可是我用人不当，也应该负责。”他就上了一份奏章给刘禅，请求把他的官职降低三级。
刘禅接到奏章，不知该怎么办才好。有个大臣说：“既然丞相有这个意见，就依着他吧！”
刘禅就下诏把诸葛亮降级为右将军，仍旧办丞相的事。
再上表北伐讨魏
魏明帝太和二年，也就是诸葛亮第一次北伐失败当年的八月，东线孙吴却在石亭，即今安徽潜山东北与曹魏的战斗中打了一场大胜仗。
不久，东吴派使臣到蜀中来致书，请求出兵共讨魏国，并述说东吴不久前大破曹军之事，一来，显示自己的威风，二者，表示与蜀国和好。后主大喜，令人持这份使书到汉中，报知诸葛亮。
诸葛亮正值兵强马壮，粮草丰足，所用之物，一切完备，正准备再次出师，收到后主书信，立即设宴大会诸侯。
宴席间，忽然刮起一阵大风，竟将庭院前的一棵松树吹折了，众人都大吃一惊。忽报赵云将军昨夜病重而死。诸葛亮大声道：“子龙身故，国家损一栋梁，我失去了一只臂膀啊！”
众将无不挥泪泣颜。诸葛亮命子龙二子到成都去面见后主报丧。
后主听说赵云死，放声大哭，道：“想当年，先父携民渡江，遭敌兵追截，朕尚年幼，要不是子龙将军单骑拼死相救，朕早就死在乱军之中了！”
立即下诏，敕厚葬于成都锦屏山之东，建立庙堂，可四时享受祭祠。子龙二子谢辞而去。
后主身边的大臣这时上奏说：“诸葛丞相将军马分拨已定，即日就将出师伐魏了。丞相派杨仪带《出师表》来到成都，呈交御览。”
这便是后来著名的《后出师表》。
近年有人提出，《后出师表》应是诸葛亮所写。因为张俨与诸葛亮同时稍后，对诸葛亮的生平事迹很熟悉，如果《后出师表》为人伪撰，张俨不会不加辨别就把它收进《默记》。至于陈寿，因为不敢犯司马氏之讳，所以不敢把骂他们为魏贼的《后出师表》收入《三国志》本文。
但较多的人恐怕还是认为《后出师表》不是出自诸葛亮之手。比较而言，这一种意见理由充分一些。
《后出师表》所说的很多事情与史实不合。比如，它列数曹操的几次失利，如困于南阳、险于乌巢、危于祈连、僵于黎阳、几败北山、殆死潼关，除南阳、乌巢、潼关几次遇险史书有记载，另几次都没有确切依据。又比如，《后出师表》说刘繇、王朗各据州郡，连年不征不战，坐使孙策据有江东，这和史书记载的情形也不合。