纳粹德国在征服了法国之后，就着手准备对苏作战。1940年7月21日，希特勒要求德军总司令部着手拟定对苏作战计划。12月5日，希特勒主持德军总参谋部会议，审定对苏战争计划。12月18日，希特勒下达了对苏作战的第21号命令，定名为“巴巴罗萨计划”。德军决定分北、中、南三路向苏联腹地实施高速度、大纵深的突击，在苏联西部地区聚歼苏军主力。战役的最终目的是在1941年入冬前占领列宁格勒、莫斯科、顿巴斯，推进到阿尔汉格尔斯克—伏尔加河一线，以便德国空军在必要时能够摧毁苏联最后的乌拉尔工业区。
德国从各方面作了积极准备。军费猛增，武装部队总人数达到850万，坦克5639辆，飞机1万余架。从1941年5月25日开始，德国统帅部向东部大规模运兵。到6月中旬，已有47个师，其中包括28个坦克师和摩托化师运到苏德边境。为了巩固南北两翼，1941年春，德军开进了保加利亚、南斯拉夫和希腊，并派兵在芬兰的土库港登陆。5月德国与芬兰制定“蓝色北极狐”计划，胁迫芬兰参加未来的对苏作战。至此，沿苏联西部国境线，德国加上其仆从国家，共部署了190个师，550万官兵，3712辆坦克，4950架飞机，47260门火炮。1941年上半年，德国飞机侵犯苏联领空324架次，进行侦察活动。德国的进攻部队分为3个集团军群：由勒勃元帅指挥的北方集团军群共29个师，由第一航空队1070架飞机支援，任务是从东普鲁士出发，进攻列宁格勒；由包克元帅指挥的中央集团军群作为进攻主力，共有50个师又2个旅，由第二航空队1600架飞机支援，其任务是由华沙地区出发，经明斯克、斯摩棱斯克，进攻莫斯科；由龙德施泰特元帅指挥的南方集团军群共有57个师加13个旅，由第四航空队和罗马尼亚空军共1300架飞机支援，任务是由卢布林和喀尔巴阡山脉之间出发，经日托米尔进攻基辅，进而向顿巴斯推进。
为了掩盖实施“巴巴罗萨计划”的战役准备工作，德军总参谋部情报处和反间谍处，散布种种流言，策划假情报，似乎德国要继续实施“海师作战计划”。他们大量印发英国地图；军队中配备英语翻译；在英吉利海峡沿岸集结许多渡海船只；海岸上配置假火箭；甚至散布“大规模军队东调是为了隐蔽入侵英国的最后准备工作而采取的有史以来最大的佯动”等等。斯大林曾多次指出存在着德国入侵苏联的危险，加强了国防建设和战备工作。在德国入侵波兰，并把魔爪伸到苏联边境时，斯大林采取了一系列措施，建立了一条从波罗的海到黑海的“东方战线”。但是，斯大林对德国向苏联发动突然袭击时间的判断有误。
德国准备大规模入侵苏联的种种迹象，斯大林和苏联政府不是一无所知。当时，西方国家政府和苏联情报部门不断地将这类确凿消息报送斯大林。1941年3月20日，苏军情报部长戈里科夫将军送给斯大林的情报，实际上就是“巴巴罗萨计划”的基本内容。4月底，丘吉尔写信给斯大林，以准确的事实提请注意德军的行动方向。5月16日，海军人民委员库兹涅佐夫海军上将报告斯大林，说据可靠情报，德军将于6月14日大举进攻苏联。可是，斯大林固执地认为，德国在结束对英作战之前不会进攻苏联。他把所获得的所有这些情报，看做是西方国家在用苏联人吓唬德国人，用德国人吓唬苏联人，唆使苏联和德国互相敌对，因而怀疑这些情报的真实性。斯大林的这种情绪自然影响到他周围的人，连送情报的人都要在报告时附带说明，情报可能是西方国家有意制造的谣传。斯大林希望尽量延长和平时间的愿望是可以理解的，但他却因此而形成一种偏见，还以这种偏见来指导苏联的整体临战部署，造成苏联为此付出惨痛的牺牲。
6月13日，苏联国防人民委员铁木辛哥和红军总参谋长朱可夫，根据各方面的情报和危机的形势，要求斯大林批准下令边境军区部队进入战斗准备，并根据掩护计划展开第一梯队。斯大林仍旧犹豫不决，他害怕这会刺激德国提前发动战争，以至延误了最后的时间。6月21日晚，基辅特别军区报告：有2名德军投奔苏军，带来了德军正在进入出发地域并准备于22日4时发动进攻的情报。至此，斯大林才同意命令边境军区所有部队进入一级战斗准备。等到苏联总参谋部于6月22日零时30分下达命令完毕，为时已太晚了。
1941年6月22日凌晨4时，德军在经过飞机猛烈轰炸、炮火准备之后，在从波罗的海到喀尔巴阡山之间宽约1500公里的正面上，发起全线进攻。1小时后，德国才向苏联正式宣战。芬兰和罗马尼亚军队随同德军入侵苏联。意大利、匈牙利、斯洛伐克也跟着对苏宣战，法国维希政府宣布和苏联断绝外交关系。
战争开始后的几小时内，800多架苏联飞机被摧毁在机场上。第一天，苏军各边境军区共损失飞机1200多架，这让德军暂时掌握了制空权。德军的坦克部队和摩托化步兵像潮涌般冲向苏联各边防哨所和居民点。苏军在边境地区的军用仓库，储备的武器装备和军需物资，几乎全部落入德军手中。
战争爆发后，苏联采取了一系列应急措施，领导全国人民投入反对德国法西斯入侵的卫国战争。把原来的军区改组为5个方面军。6月22日中午，外交人民委员莫洛托夫受党和政府的委托，发表广播演说，号召苏联军民把入侵的德军赶出苏联领土。23日，根据联共（布）中央政治局的决议，成立了统帅部，负责领导全国的武装力量。29日，联共（布）中央和苏联人民委员会指示前线各州把全部工作转入战争轨道，在敌占区成立游击队和破坏小组，开展全民游击战争。30日成立了以斯大林为主席的国防委员会，这是把国家的全部权力集中在自己手里的国防机构。群众组织、党组织和苏维埃组织都必须执行国防委员会的所有决定和命令。
7月3日，斯大林发表广播演说。他告诉人民，不要相信“德国军队无敌”的吹嘘，也不要埋怨苏德互不侵犯条约，要正视苏联当前所面临的危险，把全国的一切转入战争轨道，“为保卫祖国的城市和乡村战斗到最后一滴血”。斯大林的演说，没有豪言壮语，却体现出不屈不挠的精神，进一步向人民发出紧急动员，安抚和鼓舞了慌乱中的全国军民。7月19日，为了指挥战争的需要，斯大林兼任国防人民委员。8月8日，斯大林亲自担任苏联武装力量最高统帅，统帅部也相应地改名为最高统帅部。
战争初期，6月28日，德军在明斯克完成对苏军43个师又3个旅的包围，迅速予以歼灭。7月1日，苏军西方方面军除政治委员外，自司令员帕夫洛夫大将以下的主要指挥员都被送交苏军军事法庭，判处死刑，执行枪决。帕夫洛夫指挥西方方面军前后一个星期，在战役指挥上他当然要对部队惨败负有相当责任，但在那样的态势下，谁也无回天之术。
在战争开始的头3个星期中，德国北方集团军向前推进了450公里，南方集团军向前推进了300至350公里，中央集团军向前推进了450至600公里。到7月中旬，德军占领了拉脱维亚、立陶宛、白俄罗斯一部分、第聂伯河以西的乌克兰地区，突入俄罗斯联邦西部地区，进抵通往列宁格勒的要冲，威胁斯摩棱斯克和基辅。于是苏德战场上的力量对比更加有利于德方。希特勒得意忘形。10月3日，他由前线回到柏林发表讲话说：“东方的敌人已被打垮，再也不能站起来了？？在我们部队的后边，已经有了相当于我在1933年执政时德意志国家幅员两倍的土地。”
战争进入第二个月，希特勒原定要在6周内消灭苏联红军、夺取莫斯科和进抵伏尔加河的企图没能实现。然而不可一世的希特勒仍狂妄地宣称：“俄国快要完蛋了。”他对约德尔将军说：“我们只要在门上踢一脚，整个破房子就会倒下来。”
在德军处于暂时优势的情况下，斯大林提出了战略防御的方针。其主要精神，就是要进行积极防御，把坚定顽强的抵抗同对敌人的反击紧密结合起来。斯大林指出，战略防御方针的目的，就是要消耗敌人的有生力量，不断削弱和消灭德军的暂时优势，争取时间，从内地调集兵力和建立新的预备队，为红军夺取主动和转入反攻准备条件。
根据斯大林提出的战略防御方针，苏联红军进行了一系列英勇顽强的防御战，同时还广泛开展了敌后游击战争。7月10日，德中央集团军群的先头部队到达斯摩棱斯克。德军企图以强大的突击兵团分割铁木辛哥元帅的西方方面军，将其主要部队合围于斯摩棱斯克地区，然后长驱直入莫斯科。苏联最高统帅部命令：一定要阻止德军坦克前进，在重组兵力时，坚决将敌军顶住。斯摩棱斯克是莫斯科的咽喉要地，距莫斯科只有370公里，要保卫莫斯科，必须在这里阻截德军。但从这次战役一开始，由于兵力武器不足，苏军未能建立纵深梯次配置。部队的防御实际上只建立了第一线配置。敌中央集团军群派出了2个坦克集团军和2个集团军，共29个师。在兵力、大炮和飞机数量上，德军比苏军大约多1倍，坦克多3倍。
斯摩棱斯克战役是在极为广阔的地区展开的，南北大约600公里，东西200多公里。战役初期，德军第3坦克集团军前进了150公里，占领了斯摩棱斯克西北的5个城市，从西北面紧紧围住了苏军第16、第19和第20集团军的阵地。在西南部，德国第2坦克集团军前进了200公里，占领了斯摩棱斯克西南的4座城市。在斯摩棱斯克市区，苏军守卫部队奉命实行“总体防御”，全城青壮年组成民兵，随时准备增援部队。当德寇于7月16日打进斯摩棱斯克时，当地军民奋不顾身，同德寇展开巷战，苏联军民用刺刀、手榴弹保卫城市的每一条街道和每一幢房屋。但由于力量悬殊太大，7月16日夜，德军坦克部队终于占领了斯摩棱斯克。
面对这种局势，苏联最高统帅斯大林指示西方方面军司令员铁木辛哥组织反攻。为此，最高统帅部从预备队中调拨出20个师给铁木辛哥，以加强西方方面军。7月23日至25日，苏军向斯摩棱斯克发起反击。这时，被围困在斯摩棱斯克地区的苏军第16和第20集团军的大部也发动攻势，突出重围，与西方方面军的主力会合了。苏军这次反击虽未能消灭进犯斯摩棱斯克的德寇，但却有力地牵制并严重地削弱了德军，使德军遭受到很大的损失。到7月底，德军步兵损失20%，坦克损失50%，因而不得不转入防御。
8月初，希特勒窜到前线，敌中央集团军群总司令包克向他汇报说，部队损失很大，特别是坦克。8月6日，希特勒又到南方集团军群司令部，司令龙德施泰特要求增援。希特勒看到中央集团军已占领斯摩棱斯克及其南北广大地区，而南方集团军群遇到了苏军强大兵团的反击，还停留在第聂伯河的西岸，基辅还未拿下。因此，他命令中央集团军群的第2坦克集团军和第2野战集团军南下，插入苏军后方，从第聂伯河东岸包抄苏军，攻入基辅。另外还抽调一个坦克军，支援北方集团军群。希特勒的如意算盘是：在北方占领爱沙尼亚，消除苏联在波罗的海沿岸的空军基地，占领列宁格勒，以便同芬兰军队会师；在南方，占领乌克兰粮仓、顿巴斯煤矿，消除苏军在黑海沿岸的空军基地，确保罗马尼亚油田的安全。他还有一个更加险恶的用心，就是迅速拿下高加索油田区，断绝苏联的石油来源。
9月10日，持续2个月之久的斯摩棱斯克战役暂告一个段落。据德方供认，在斯摩棱斯克战役中，德军损失25万人。这次战役的重要意义在于，它牵制德军长达60天，使得苏军赢得了宝贵的时间，为保卫莫斯科做好了必要的准备。
广阔的乌克兰战线是苏德战场的南翼。在这条战线上，以攻、守基辅为中心，德国法西斯及其仆从国的侵略军，同苏军展开了持久激烈的战斗。从1941年7月上旬开始，到9月19日基辅沦陷为止，历时2个半月。
在南北大约1千公里，东西纵深大约500～600公里的广阔战线上，苏联西南方面军和南方方面军总共有86个师。但在艰苦的防御战中，苏军已严重削弱，人员、武器都深感不足。德国南方集团军群包括第1坦克集团军，3个野战集团军，外加罗马尼亚2个集团军、1个匈牙利和1个斯洛伐克军。而且从7月20日起，意大利法西斯军队也直接参战，所以敌军总数共达82个师。人数比苏军几乎多1倍。此时，苏军1个师是8千人，而德军1个师是1.4万人到1.6万人。
德军在南线发动进攻后，在乌克兰党和政府的领导下，20万基辅居民参加构筑防御工事，7万多人参加民兵，3万共产党员参军上前线。德军在南线的进攻方向是基辅。7月11日，德军第6集团军的先头部队进入基辅地区。7月下半月到8月上半月，德、苏双方为攻、守基辅展开了持久激烈的战斗。苏军顽强死守，同时伺机发动反击，消灭敌人的有生力量，千方百计地顶住德军的进攻。苏军英勇奋战，把敌人拖得疲惫不堪，使他们每前进一步，都要付出沉重的代价。7月30日，德军用了5个师进攻基辅，但被苏军击退了。8月6日，德军又对基辅发动大规模的进攻，经过12天鏖战，德军才勉强前进8至10公里，但仍未能攻入基辅。
于是德军改换战术，在基辅外围包抄和歼灭苏军的同时请求增援。经希特勒批准，德中央集团军群的第2坦克集团军和第2野战集团军南下乌克兰，包抄和攻击苏西南方面军的后方。在基辅南面，德第1坦克集团军切断苏军第6和第12集团军的退路，而德第17集团军从另一方向包围苏军这两个军。被围苏军拼命杀敌，到8月13日，许多指战员壮烈牺牲，不少人被俘。
8月底，德第6集团军同苏联第5集团军在基辅以北展开激战。苏军且战且退。德寇紧追，并渡过第聂伯河在切尔尼哥夫地区同南下的德第2集团军会师，把苏军第5、第21和第37集团军围困在切尔尼哥夫、基辅和涅仁的三角地带。9月12日，德第1坦克集团军北上，迎接南下的德第2坦克集团军。9月15日，这两股法西斯坦克部队在基辅以东会师，把苏联西南方面军的4个集团军包围起来。9月19日，基辅陷落，苏军蒙受了严重损失。据西方史学家记载，德国南方集团军群抓到了65.6万名苏军俘虏。一再坚持死守基辅的赫鲁晓夫，险些作了德国法西斯的刀下鬼。
据朱可夫元帅回忆，关于基辅战役决策问题，在苏联最高统帅部曾进行过激烈的争论。7月29日，朱可夫作为苏军总参谋长、最高统帅部副统帅，就当时对战争形势的分析和基辅的弃、守问题，曾当面向斯大林作过紧急汇报。朱可夫说：“莫斯科战略方向上的德军，看来，最近期间不可能实施大规模进攻战役，因为他们损失太大。？？我军防御最薄弱和最危险的地段是中央方面军。？？德军可能利用这个薄弱点。”
“你的建议是什么？”斯大林警觉起来。
“首先加强中央方面军，至少给它增加3个得到炮兵加强的集团军：从西部方向抽调1个集团军，从统帅部预备队抽调1个集团军。委派一位经验丰富的能干的方面军司令员。具体地说，我建议瓦杜丁将军担任。”
“怎么啦，你认为可以削弱莫斯科方向吗？”斯大林问。
“不，不是这样。我们认为，这个方向的敌人暂时不会前进，而12-15天以后，我们能从远东抽调至少8个战斗力很强的师，其中包括1个坦克师。这样就不是削弱而是加强莫斯科方向。”
“那么把远东送给日本人？”梅赫理斯挖苦地说。
朱可夫没有回答他，继续讲下去：“西南方面军必须立即全部撤过第聂伯河。在中央方面军和西南方面军的接合部后面，应集中不少于5个加强师的预备队。它将成为我们的拳头，好伺机打出去。”
“基辅怎么办？”斯大林凝视他的总参谋长。
朱可夫明白，“放弃基辅”这几个字对于所有的苏联人，包括对于斯大林意味着什么。但是，他不能感情用事，作为总参谋长，他有责任向最高统帅建议采取在总参谋部和他本人看来当前惟一可能的、惟一正确的战略决定。
“基辅不得不放弃，”朱可夫断然回答。
总参谋长努力控制自己，一阵难堪的沉寂，然后继续汇报：“在西部方向需要马上组织反突击，以夺回敌方的叶利尼亚突出部。敌人将来可能利用这个桥头堡来进攻莫斯科。”
“哪里还有什么反突击？真是胡说八道！”斯大林发火了，他突然高声说，“把基辅交给敌人，亏你想得出来。”
朱可夫忍耐不住：“如果你认为我这个总参谋长只会胡说八道，那么还要他干什么。我请求解除我的总参谋长职务，把我派到前线去，我在那里可能对祖国更有好处些。”
又是一阵难堪的沉寂。“请你冷静些，”斯大林说，“再说，如果你这样提出问题，那么我们缺了你也能行。”
“我是一个军人，准备执行最高统帅部的任何决定。但是，我对形势和作战方法有清醒的看法，相信这个看法是正确的。而且，我和总参谋部是怎么想的，我就怎么汇报。”
斯大林没有打断他的话，显然已经平息了怒气。他十分平静地说：“你去工作吧，我们一会儿叫你来。”
朱可夫收起地图，怀着沉重的心情离开办公室。大约半个小时以后，他被叫到斯大林那里。“是这样，”斯大林说，“我们商量了一下，决定解除你的总参谋长职务，想叫你去担任实际工作。你有在实战条件下指挥部队的丰富经验。在作战部队你肯定会发挥更好的作用。当然，你仍然是国防部副部长和最高统帅部的成员。”
“命令我到什么地方去？”
“你愿意到哪里？”
“我可以做任何工作，可以指挥一个师、一个军、一个集团军、一个方面军。”
“冷静些，冷静些！你刚才汇报说要在叶利尼亚附近组织一次战役，那就请你负责这件事吧。”停顿了一下，斯大林又说：“必须把勒热夫——维亚济马防线上各预备队集团军的行动统一起来。我们任命你担任预备队方面军司令员。你什么时候可以动身？”
“一小时以后。”
“沙波什尼科夫很快就去总参谋部，你把工作交给他以后就可以动身。”
朱可夫来到叶利尼亚前线后，首先勘察了地形。他同兵团指挥员研究了情况，确信德军的防御工事构筑得很好，看来有一场硬仗要打。德军在防御前沿和纵深把坦克、强击火炮及其他火炮都配置在掩体内，叶利尼亚突出部成了一个独特的筑垒地段。接着朱可夫制定了战役的实施计划，并抓紧时间开始了进攻的准备工作。
8月12日，朱可夫亲自审问了德军俘虏19岁的米特曼。他随他所在的师到法国、比利时、荷兰和南斯拉夫打过仗。米特曼供认，他们师大多数士兵都在19—20岁之间。加入这个师的人都经过特别挑选。这个师是随坦克第10师之后来到叶利尼亚地区的。米特曼把叶利尼亚地区看成是继续向苏联内地进攻的前进阵地。他认为德军在叶利尼亚地区受阻3周之后并转入防御，是因为德军统帅部想要赢得时间，向前线调集预备队和增援兵力。
一切准备工作就绪，朱可夫于8月中旬向敌人发起进攻，夺回了一些地区，重创了敌人。德军被迫把两个打得七零八落的坦克师、一个摩托化师和一个摩托化旅调走，换上步兵兵团。后来得悉，德中央集团军群指挥部，曾请求希特勒准许放弃叶利尼亚突出部，但遭到拒绝，因为希特勒认为叶利尼亚地区是向莫斯科进攻的桥头堡。
整个战线的战斗十分激烈残酷。敌人用密集的炮火阻止苏军前进。朱可夫使用了方面军所有的飞机、坦克、火炮和火箭炮猛轰敌人，打得敌人昼夜不得安宁。德坦克第10师、摩托化第17师和步兵第15师均被苏军彻底击溃。在这次战役中，涌现了第一批英雄的近卫师（指战斗力强的精锐部队），他们打得非常英勇。米罗诺夫上校指挥的步兵第107师消灭了敌人步兵将近5个团，包括“帝国”党卫师的“元首”团。由涅克拉索夫中校率领的586团，迅速突击占领了沃洛斯科沃村，但不料陷入敌人的重重包围。中校尽管受了重伤，仍继续指挥战斗，激战持续了3天3夜。在兄弟部队的支援下，这个团不但突破了包围，而且击溃了正面敌军，夺占了火车站这个重要支撑点，为整个战役的胜利，发挥了重要作用。在攻克叶利尼亚的战斗中，苏军共歼敌将近5个师，德军死伤4.5万多人。这是苏德战争开始以来红军取得的第一次重大胜利。
朱可夫乘胜追击敌人，9月7日率领部队渡过斯特里亚纳河，并奉命协同西方方面军集群继续发动进攻。由于粉碎了德军叶利尼亚兵团的胜利，红军的士气提高了，胜利的信心增强了。各部队更有信心地抗击敌人的冲击，更加频繁地转入反突击。斯大林对这次战役的胜利十分重视，他亲自打电话对朱可夫说：“你们都是好样的！这正是我们所需要的。乘胜前进！”