李治擦了擦脑门儿上的汗，没吱声，把这事儿按下去了。
王义方不同意，他非要为别人求个公道。在弹劾李义府之前，他先对自己的母亲说：“儿时御史，看见奸臣不追究就是不忠，追究，就怕危及儿的至亲，这就是不孝。两者，儿实在不能决断，娘，我该怎么办啊？（义方为御史，视奸臣不纠则不忠，纠之则身危而忧及于亲为不孝，二者不能自决，奈何？）”
后面的一段话，证明了王义方的母亲是一个伟大的女性。
她说：“昔王陵之母，杀身以成子之名。汝能尽忠以事君，吾死不恨！”王陵的母亲为了儿子能归顺刘邦而伏剑自杀，项羽大怒，将王陵之母烹煮。王义方，为了正义，敢于李义府作对，王义方的母亲说，我儿能尽忠事君，我死而无憾！于是，王义方的奏章送到了李治面前：
李义府擅杀六品寺丞，虽说毕正义是自杀，但也都是被李义府逼的。这样下去，生杀予夺，天地颠倒，天下法度，因一人而坏，渐不可长，请严查！
李义府一听就急了，站出来与王义方当庭对峙。被别人冤枉，站出来说话没错，可李义府却做得太过分了。李敖曾经对李杰说：“对不起，你必须闭嘴，我没有问，我没有问你你不能讲。你是被询，等待我问你，然后你答复。我没有问你你怎么可以答复啊？请闭嘴！……你闭嘴、闭嘴、闭嘴、闭嘴，你再讲话我骂你！”这就是说，民意代表不让你讲话的时候你就不能讲话，别人告你你就接受调查就可以，诬告还是事实，结果一出，自然明了。
李义府不是，李义府蛋疼。
还没等王义方朗诵弹文，李义府就开始说话了，解释可划分为若干段落，内容不详。王义方最讨厌李义府的嘴脸，朝堂之上，李义府面对御史的上奏在那里口若悬河地为自己开脱，很不像话。李治怒喝道：“李义府你退下去！”李义府不退，站在那里左瞧右看。王义方暴怒，厉声呵斥，如此三次，竟将李治吓得不敢说话了。
李治一不说话，李义府立刻变乖，悻悻而退。
王义方这才大声朗读起弹文来，读完，事情就完了。
不久，事情办理的结果出来了。李义府因受王义方惊吓，实在可怜，无罪释放。王义方侮辱大臣，言辞不逊，贬莱州司户。司户，粮食局局长，还是地方的。事情刚一处理完，老天爷就给李治送了一份大礼——台风。史书记载，就在王义方被贬莱州之后，紧接着，括州（浙江温州）就卷来了一阵暴风，大海倒灌，淹死四千多户。
李治的脑子本来就经常疼，这一笔糊涂账他不知道该怎样才能算清楚。不过可以确定的是，他实实在在地是偏向于武皇后一方了。长孙无忌和褚遂良都被沉重打压，但令武皇后不安的事，终究还是会发生的。表面上安静了的朝廷内，还是有人跟武皇后作对，这个人，直到四个月后才突然向她宣战。
显庆元年（公元656年）十二月，寒冬，韩瑗上疏，为褚遂良喊冤。
没人替褚遂良说话，韩瑗要说，不仅要说，还要在必要的时候顶撞皇上。韩瑗上疏道：“遂良体国忘家，捐身徇物，风霜其操，铁石其心，社稷之旧臣，陛下之贤佐。古时贤君，不因为大臣的正直而降罪。现在遂良被贬，已经足足过了一个寒暑，违逆陛下，陛下对他的处罚也该够了吧？臣只愿陛下体恤无辜，稍宽非罪，善待老臣，以顺人情。”李治听罢，感慨一声道：“遂良的情况，朕是知道的。可是他喜欢悖逆犯上，朕正好想用这种方法罚罚他，卿为何把事情说得那么严重！？”
韩瑗说：“遂良是社稷忠臣，为小人所毁。小人在，则纲纪乱；忠臣去，则国家亡。陛下无故弃逐旧臣，恐怕不是国家之福吧！”
李治听罢，点点头，叹口气，不采纳。
韩瑗觉得自己中直的言论一直都不被采纳，而某些小人天天放屁都能奏出音乐来，很是伤心。更重要的是，这意味着看起来不太有能力的武皇后那边儿，砝码又添上了皇帝李治。老臣被放逐，说明新皇帝烦透了被人管的境况，他想要大权独揽。
韩瑗辞官，乞归田里。
李治不许。
李治想当个好皇帝，他并不是一味地听李义府那帮人的。接下来发生的一件事，就足以证明李治的确想要有所作为。一直严格要求自己的李治已经开始出现了堕落的情况，可就在众人以为皇帝要坏事儿的时候，一件看起来挺小的小事让大家心头一热。
内斗与外战
文人相轻，更何况实际利益有冲突的两个人。于是，李义府彻彻底底恨上了褚遂良。假使欧阳询活着（641年去世），李义府肯定讨厌欧阳询，因为欧阳询长得丑，而且跟他不是一类人。以前说过，李义府的好哥们儿许敬宗跟欧阳询有仇，他笑话人家难看，还自认为很帅地站在长孙皇后的丧礼上失声窃笑。
现在，欧阳询死了，来济活着，褚遂良也活着。
这俩人跟武皇后不是一路人，也就跟李义府不是一路人，李义府要想方设法把他们弄倒。李义府抓住一切可以跟褚遂良对着干的机会，比方说褚遂良当初带头把不可一世的刘洎扳倒，李义府就想出点儿花招来。
刘洎是罪犯，刘洎的儿子日子就很难过。刘洎的儿子不服气，诉讼他老爸是被冤枉的。他老爸是贤臣，贞观末年的时候被小人陷害，而这许多小人之中，领头的就是褚遂良。刘洎的儿子人微言轻，嗓门儿再大，李治也听不见。还好有了李义府，他好，我也好。李义府一看，竟然是告褚遂良的，暗自叫好，把这事儿捅给了李治。
李治觉得这事儿不小，于是开会讨论。
讨论进行了一大半儿，众人都说李义府说得对。我们且先不管李义府说得对不对，但看刘洎本人，的确是个挺不错的人。刘洎敢于上谏，对工作也是尽心尽责。他最后的死是死在自己那张嘴上，没遮拦，又跟褚遂良不和，褚遂良带头告他，被赐死。刘洎案的是非曲直实当时人都说不清楚，现在这帮后生在这里讨论，是无论如何讨论不出个子丑寅卯的。
最后，还是由给事中乐彦玮给了李治一个台阶下。
他说，刘洎是大臣，先皇身体不好，他怎么能在这个时候说自己就是伊尹呢！现在给他平反，还不就是明摆着说先帝用刑不当吗？
李治说，对，对，就是这样。在大家的一片唏嘘声中，该事告一段落。但这件事情还没完，因为这不是简简单单的讨论“关于刘洎同志是否是想篡权”的问题，而是李义府和褚遂良斗法的问题，更直白说，是武皇后和长孙无忌之间的矛盾。现在李治不听李义府的，说明了什么呢？
众人心头一热：这说明皇上开始冷落李义府了！
……只有没脑子的人才这么想。这件事实在说明不了什么，它能说明的，就是李治不敢跟他老爹对着干而已。接下来发生的事情，证明大家所有的热都是燥热，所有的心都是寒心。该贬谪的还会贬谪，该升官儿的还是会升官儿，就算忠臣赤胆忠心，到了李治那里，也都是小事一桩，不必操心。
显庆二年正月，李治跑到洛阳旅游。
二月初三，车驾至洛阳宫，稍后，便立皇子李显为周王。
三月十六日，以潭州都督褚遂良为桂州都督（从湖南到广西）。
三月二十五日，以李义府兼任中书令。