王安石变法虽对国家财政状况方面有所改善，但新法在执行过程中所产生的弊端也日益显现，来自社会各方面的批评使王安石受到很大的压力。
熙宁六年（1073）七月，实行了“免行法”，更遭到皇族、外戚和守旧大臣的激烈反对，神宗也对改革发生了动摇。“七年春，天下久旱，饥民流离，帝忧形于色，对朝嗟叹，欲尽罢法度之不善者。安石曰：‘水旱常数，尧、汤不能免，此不足招圣虑，但当修人事以应之。’帝曰：‘此岂细事？朕所以恐惧者，正为人事之未修尔。今取免行钱太重，人情咨怨，至出不逊语。自近臣以至后族，无不言其害。两宫泣下，忧京师乱起，以为天旱更失人心。’”王安石竭力否认有不利言论。后郑侠呈所绘《流民图》，并上疏曰：“旱由安石所致。去安石，天必雨。‘侠又坐窜岭南。慈圣、宣仁二太后流涕谓帝曰：’安石乱天下。帝亦疑之……”（《宋史·本传》）
在一片反对声中，加上变革派内部的分裂，王安石也看到了新法难于继续推进，于是不得不表示辞意。熙宁七年四月，王安石乞求解除机务，六次上书，最后神宗恩准，以观文殿大学士出知江宁府。
王安石罢相，推荐韩绛为相，吕惠卿为参知政事，继续维持新法。王安石刚离开朝廷时，韩、吕二人尚能“守其成”，但不久，王安石一手提拔的吕惠卿便对他落井下石。他一味迎合宋神宗的旨意，推行王安石在位时就以为不便而拒绝推行的“以田募役”法。他又害怕王安石再回政府，于是标新立异，创立了所谓“手实法”（即官府根据一定标准确定物价，老百姓根据官府定价申报自己的财产），其目的在于清查户籍等级，以平均役钱。但其实施相当复杂，甚至百姓的鸡鸭猪狗都要一一作价登记，引起“上下骚动”。韩绛察觉到吕惠卿的野心，于是乘机向神宗建议使王安石复相。神宗接受了韩绛的建议，于熙宁八年（1075）二月重新起用王安石为相。
王安石复相后，废除了“以田募役”法，引荐被吕惠卿排斥的吕嘉问重领市易司事，不拘一格擢用新人，积极推行新法。这些人与吕惠卿意见多有不合。王安石所颁行的《三经新义》曾经吕惠卿兄弟修改，王安石上疏神宗请用自己的旧本，于是二人裂隙更大。熙宁八年六月，王安石生病，神宗只允许王安石处理少量政事，以便养病。吕惠卿则乘机攻击王安石屡屡称病不治事，以此要挟神宗。御史中丞邓绾（wǎn）据王安石儿子王雱（pāng）意，弹劾吕惠卿在华亭县借富民钱买田收租，吕惠卿上章自辩。同年十月，吕惠卿被罢政出知陈州。邓绾又奏三司使章惇与吕惠卿协力为奸，章惇出知湖州，至此，改革派分崩离析。
变法派的分裂使王安石痛心。而此时的宋神宗也不再对王安石言听计从，并不再支持王安石推行市易法。熙宁八年十月，天空出现彗星，守旧派富弼、吕公著、张方平等相继上疏，以“天变”攻击新法和王安石，要求神宗立即停止新法。王安石据理力争，并主张对不附新法者治罪，但遭神宗拒绝。这一切，都使王安石限于困境，新法难于推行。
到熙宁九年（1076）春天以后，王安石身体有病，屡求辞职，罢相归田。六月，其爱子王雱病逝，使其在精神上极度悲伤。神宗对王安石也越发厌恶。至十月，神宗同意王安石二次罢相，出判江宁府，但他也不到府衙任职，至次年六月，即辞去江宁府职务。
王安石两次出任宰相，又两次被迫罢相。这既给他推行新法提供了平台和权力保障，又充分体现了改革派和守旧派激烈的博弈。