袁天纲一经批准致仕，就立刻带着高淑行去终南山石窟里修道，两人过着神仙眷侣的生活，这里没有尔虞我诈，没有塞外的刀光剑影，更没有你死我活的权力斗争，只有两人每日枯坐石窟的平淡、简单修道生活。不知不觉中，时间过去了三年，显庆四年（公元659年）四月初十，突然山下有一人来访，是高淑行的阿哥高履行，原来他这次是来辞行的。同时，他带来了一个令人震惊的消息：长孙无忌倒台了！
原来情况是这样的：武媚娘经过一路上的披荆斩棘，终于当上了皇后。她因为长孙无忌接受贵重赏赐却不帮助自己，内心产生了深深的怨恨；在朝堂上讨论废立王皇后的事时，于志宁也保持着中立态度，不发表任何意见，武媚娘也记恨在心。当时礼部尚书许敬宗屡次以利害关系劝说长孙无忌，长孙无忌却常常当众责骂他，让给他感到非常难堪，所以许敬宗也非常怨恨长孙无忌。武媚娘自从受册封当上皇后之后，长孙无忌内心不安，生怕武媚娘将来寻机会报复他；而武媚娘暗中命令许敬宗找机会加以陷害。
正好有一个洛阳人李奉节到长安告御状，状告太子洗马韦季方、监察御史李巢结为朋党的事件，李治接到告御状者的控告后，不敢掉以轻心，就下令许敬宗审讯此案。许敬宗就利用此案大搞“逼供信”，韦季方受刑熬不住，就想自杀了断，结果没有自杀成功。许敬宗就上奏李治，诬告韦季方和长孙无忌结为死党，准备抢班夺权、谋害异己，使朝廷大权集中到长孙无忌手上，然后找机会图谋反叛，现在事情已被发觉，所以长孙无忌的同党韦季方就想自杀了断。
李治听罢，大吃一惊，问道：
“怎会有这样的事呀!舅父是被小人所离间吧，和朕稍稍产生些猜疑和隔膜是有的，怎么会反叛呢?”
许敬宗回奏道：
“臣亲自审讯此案，谋反证据确凿，陛下如果对此表示怀疑，恐怕非社稷之福。”
李治哭泣着说：
“我们大唐皇室真是家门不幸，皇室成员中老是出现谋反之人，前几年高阳公主和房遗爱谋反，现在长孙无忌舅父也要谋反了，使得朕无颜见天下人。如果长孙无忌谋反属实，那怎么办呢?”
许敬宗回答道：
“房遗爱不过是乳臭未干的小孩，他和高阳公主谋反，势必不可能成功。然而长孙无忌是和先帝一起打天下的人，他做了三十余年的宰相，现在大权在握，天下归心！一旦他暗中发动叛乱，陛下派遣谁去平叛？现在有赖宗庙里的祖先保佑，才查获长孙无忌谋反的证据。臣担忧的是长孙无忌一旦知道韦季方的供词之后，困窘之中急忙发起叛乱，只要他振臂一呼，天下人就会群起响应，必然会成为大患！隋朝宇文述、宇文化及父子深受隋炀帝所信任，并且隋炀帝把自己的女儿南阳公主嫁给宇文化及的弟弟宇文士及，把朝廷政事托付给他们。宇文述去世后，宇文化及又执掌御林军，但他照样在江都作乱弑杀隋炀帝，从而导致隋朝灭亡。前车之鉴后车之师，希望陛下早做决断!”
于是，李治就诏命许敬宗继续审讯。次日，许敬宗又进奏说：
“昨夜韦季方已经承认和长孙无忌一起造反，韦季方揭发说：‘柳奭、褚遂良都曾劝说长孙无忌立梁王李忠为太子，现在梁王李忠被废了，陛下也在疑心长孙无忌了。’
从此以后，长孙无忌就开始担心害怕，暗中制定了一些自我保全的计划。后来看见其堂侄长孙祥被外放为官，褚遂良被贬，就日夜和韦季方等人策划谋反了。所以请求陛下下旨收捕他依法惩办。”
李治哭泣着说：
“长孙无忌舅父果然这样做了，朕也决不忍心杀之，如果杀了他，天下人会说朕是怎样的人，后世人将会如何评价朕呢？”
许敬宗回答说：
“薄昭是汉文帝的舅舅，汉文帝从代地来长安即皇帝位，薄昭居功至伟，他所犯的罪只不过是杀人，汉文帝就命令百官穿着丧服到他门前痛哭，逼他自杀，到现在天下人还认为汉文帝是贤明的国君。
长孙无忌作为大唐三朝元老，身受国恩，却正计划谋反，现在他的罪行已经暴露，古人说：当断不断，必留后患！国家的安危在此一举，请陛下早下决断，是否则祸患一起，则悔之晚矣!”