王安石离京之后，变法运动由韩绛、吕惠卿等人负责。此时，变法派的中坚力量为了各自的利益走上了不同的道路。吕惠卿是个极有野心的人，王安石离开后，他提拔亲族吕升卿、吕和卿等人，扶植自己的势力。同时打击变法派内部的其他成员，妄图取代王安石的地位。他打着变法的招牌，肆意妄为，引起朝中大臣的不满。韩绛等人强烈请求王安石返京复职。神宗也认为，只有王安石，才能挽回局面。熙宁八年二月，召王安石回京复职。

　　王安石虽然回京了，但吕惠卿没有放弃自己的野心。他再也不是当年那个积极帮助王安石变法的得力助手。吕惠卿不仅不协助王安石推行新法，反而处处防碍，公然挑拨神宗与王安石的关系。神宗发觉了吕惠卿的阴谋，将他贬出京城，但变法派阵营已经分裂。神宗此时将近而立之年，近10年的经历使得这位少年天子日趋成熟，对于变法有了自己更深的理解和打算，不再事事依靠王安石。君臣之间的分歧越来越大，因而改革之路越走越艰难。

　　熙宁九年六月，王安石的爱子王雱(pānɡ)病逝，这对王安石的打击极大。王安石坚决求退，神宗于十月第二次罢免了王安石的相位。王安石带着壮志未酬的遗憾和满腹的伤悲离开了京城，结束了自己的政治生涯，退居金陵，潜心学问，不问世事。

　　王安石离开了，但神宗并未放弃改革的既定路线。王安石第二次罢相后的第二年，神宗改年号为“元丰”，从幕后走到前台，亲自主持变法。然而，变法依旧伴随着反对的声音，神宗亲自主持的新法同样遇到朝中群臣的异议。失去了王安石，神宗本就很伤心，现在又要独自面临巨大的压力，不免有些恼火。他决定实行更为强硬的手段来推行新法，严惩反对变法的官员。苏轼不幸成为这次政治斗争的牺牲品。

　　苏轼是北宋文坛成就卓越的大家，与父亲苏洵、弟弟苏辙号称“三苏”，其文章为天下所传颂。但这位名满全国的才子在仕途上颇不得志，在他将近40年的官宦生涯中，有三分之一的时间是在贬谪中度过的。

　　元丰二年(1079)，也许是苏轼一生中最黑暗的岁月。四月，苏轼调任湖州，他按照惯例向宋神宗上表致谢，谢表中有“知其生不逢时，难以追陪新进;查其老不生事，或可牧养小民”一句，多少带点发牢骚的意味。主张变法的一些人抓住这个机会，指责苏轼以“谢表”为名，行讥讽朝廷之实，妄自尊大，发泄对新法的不满，请求对他加以严办。御史李定、何正臣、舒亶等人，更从苏轼的其他诗文中找出个别句子，断章取义，罗织罪名。如“东海若知明主意，应教斥卤变桑田”，说苏轼是指责兴修水利的措施;苏轼歌咏桧树的两句“根到九泉无曲处，世间惟有蜇龙知”，被人指称为影射皇帝：“皇上如飞龙在天，苏轼却要向九泉之下寻蜇龙，不臣之心，莫过于此!”朝廷便将苏轼免职逮捕下狱，押送京城，交御史台审讯。与苏轼关系密切的亲友，如苏辙、司马光、张方平，甚至已经去世的欧阳修、文同等20多人受到牵连，这就是历史上著名的“乌台诗案”。“乌台”是御史台的别称，据《汉书·朱博传》记载，御史府(台)中有许多柏树，常有数千只乌鸦栖息在树上，晨去暮来，号为“朝夕乌”。因此，后人将御史台称为“乌台”。

　　苏轼下狱后，其长子苏迈一直照顾他。在等待最后判决的时候，苏迈每天去监狱给他送饭。由于父子不能见面，暗中约好，平时只送蔬菜和肉食，如果有死刑判决的坏消息，就改送鱼，以便早做心理准备。有一天苏迈有事，不能去给父亲送饭，就托一个朋友代劳，但苏迈忘记告诉朋友这个约定，偏巧朋友给苏轼送去了一条鱼。苏轼一见大惊，以为自己难逃一死，便写了两首绝命诗给弟弟苏辙：

　　圣主如天万物春，小臣愚暗自忘身。

　　百年未满先偿债，十口无归更累人。

　　是处青山可埋骨，他年夜雨独伤神。