元丰二年（1079年）四月，苏轼调任湖州知州。
上任后，他即给神宗写了一封《湖州谢上表》。
这本是例行公事，但苏轼是诗人，笔端常带感情，即使官样文章，也忘不了加上点个人色彩，说自己“愚不适时，难以追陪新进”，“老不生事或能牧养小民”。
这些话被新党利用，说他“愚弄朝廷，妄自尊大”、“衔怨怀怒”、“指斥乘舆”、“包藏祸心”，又讽刺政府，莽撞无礼，对皇帝不忠，如此大罪可谓死有余辜。
他们从苏轼的大量诗作中挑出他们认为隐含讥讽之意的句子，一时间，朝廷内一片倒苏之声。
七月二十八日，上任才三个月的苏轼被御史台的吏卒逮捕，解往京师，受牵连者达数十人。
这就是北宋着名的“乌台诗案”（乌台，即御史台，因其上植柏树，终年栖息乌鸦，故称乌台）。
乌台诗案这一巨大打击成为苏轼一生的转折点。
新党们非要置苏轼于死地不可，救援活动也在朝野同时展开。
不但与苏轼政见相同的许多元老纷纷上书，连一些变法派的有识之士也劝谏神宗不要杀苏轼。
王安石当时退休金陵，也上书说：“安有圣世而杀才士乎？”
在大家努力下，这场诗案就因王安石“一言而决”，苏轼得到从轻发落，贬为黄州团练副使，“本州安置”，受当地官员监视。
苏轼下狱一百零三日，险遭杀身之祸。
幸亏宋太祖赵匡胤时定下不杀士大夫的国策，他才算躲过一劫。
黄州团练副使一职相当低微，并无实权，而此时苏轼经此一役已变得心灰意冷。
苏轼到任后，心情郁闷，曾多次到黄州城外的赤壁山游览，写下了《赤壁赋》《后赤壁赋》和《念奴娇·赤壁怀古》等名作，以此来寄托他谪居时的思想感情。
公务之余，他带领家人开垦城东的一块坡地，种田帮补生计。
“东坡居士”的别号便是苏轼在这时起的。
元丰七年（1084年），苏轼离开黄州，奉诏赴汝州就任。
由于长途跋涉，旅途劳顿，苏轼的幼儿不幸夭折。
汝州路途遥远，且路费已尽，再加上丧子之痛，苏轼便上书朝廷，请求暂时不去汝州，先到常州居住，后被批准。当他准备要南返常州时，神宗驾崩。常州一带水网交错，风景优美。
他在常州居住，既无饥寒之忧，又可享美景之乐，而且远离了京城政治的纷争，能与家人、众多朋友朝夕相处。
苏轼于是选择常州作为自己的终老之地。
元丰八年（1085年），宋哲宗即位，高太后以哲宗年幼为名，临朝听政，司马光重新被启用为相，以王安石为首的新党被打压。
苏轼复为朝奉郎知登州（蓬莱）。四个月后，以礼部郎中被召还朝。
在朝半月，升为起居舍人。
三个月后，升中书舍人。
不久，再又升翰林学士、知制诰，知礼部贡举。
当苏轼看到新兴势力拼命压制王安石集团的人物及尽废新法后，认为其与所谓“王党”不过一丘之貉，再次向朝廷提出谏议。
他对旧党执政后，暴露出的腐败现象进行了抨击，由此，他又引起了保守势力的极力反对，于是又遭诬告陷害。
苏轼至此是既不能容于新党，又不能见谅于旧党，因而再度自求外调。
元佑四年（1089年），苏轼任龙图阁学士、知杭州。苏轼第二次到杭州做官，杭州大旱，饥馑瘟疫一起发生。
苏轼向朝廷请求，减免本路上供米三分之一，又得到赐给剃度和尚的度牒，换成大米来救济饥饿的百姓。
元佑五年（1090年）春天，又减价出卖常平米，做了很多的厚粥和汤药，派人带着医生分街坊给百姓治病，救活了很多人。
苏轼说：“杭州，水陆交汇的地方，因瘟疫死亡的人常常比其他地方多。”
于是集中多余的公款二千缗，苏轼又拿出自己的黄金五十两，办起病坊，稍微积蓄一些钱粮收治有病的百姓。
苏轼看到茅山有一条河专门容纳钱塘江潮水，盐桥有一条河专门容纳西湖水，于是疏浚这二条河道以通航。
再修造堤堰闸门，控制西湖水的蓄积与排泄，钱塘江潮水不再进入杭州城内。
又用剩余的人力修复了六井，再把挖出来的淤泥堆积在西湖中，南北长三十里，修筑成长堤以来往行人。
吴地百姓种菱，春天就除草，不留寸草。
苏轼又雇募人力在西湖中种菱，水草不再生长。
把种菱的收入备作以后修浚西湖的费用，取救济荒灾剩余的一万缗钱、万石粮食；以及申请得到的一百张僧人度牒用来雇募民工。
长堤筑成，在堤上种植芙蓉、杨柳，望去好像图画，杭州人把长堤命名为苏公堤。
苏轼在杭州过得很惬意，自比唐代的白居易。
元佑六年（1091年），他又被召回朝拟任吏部尚书，还没有到任。因为弟弟苏辙任尚书右丞，苏轼改任翰林承旨。
不久即元佑六年八月，又因为政见不合，请求出任地方官，于是以龙图阁学士出知颍州。
元佑七年（1092年）二月，任扬州知州。没过一年，朝廷以兵部尚书的职务召苏轼入京，兼任侍读。
这一年，宋哲宗到南郊祭祀，苏轼为卤簿使，导驾进入太庙。
有赭伞犊车并青盖犊车十余辆争道，没有避让皇帝的仪仗。
苏轼使御营巡检使去调查原因，原来是皇后及大长公主的车队。
当时，御史中丞李之纯是皇家仪仗使，苏轼要他上奏皇帝，但李之纯怕得罪皇后与大长公主，不敢说。
苏轼就在车中向哲宗上奏此事，哲宗把奏书派人送给太皇太后处理。
第二天，朝廷下诏书整肃仪仗队伍，从皇后而下都不许迎接谒见。
不久苏轼任礼部尚书，兼端明殿学士、翰林侍读学士。