显庆五年七月，出任宰相还不足一年的卢承庆，因对度支事务处理不当，在财政工作上出现了重大失误，因未能征足赋税受到御史台官员弹劾。高宗觉得此事不好处理，因为卢承庆是武后建议提拔的。武则天闻知后，请高宗按章办事，对大臣要功过两分清，不要看她的面子。于是，高宗下诏将卢承庆免职以示惩罚，后又考虑其才干起用为润州(今江苏镇江)刺史。卢承庆后又迁雍州长史，授银青光禄大夫，被任为刑部尚书。告老退休后，高宗授他金紫光禄大夫衔。

　　卢承庆死后，赠幽州都督，谥号“定”。临终时，他告诫他的儿子说：“死是必然的道理，就像每天有早上和晚上一样。我死后，用平时穿的衣服入殓，望日、朔日也不要用牲口祭奠我。不要用占卜的方式选择下葬的日子，陪葬的器物就是陶器漆器，棺木就用一般的木头。坟墓的高度能够审识就可以了，墓碑上写上任职和生卒年月就可以了，不写那些虚浮夸耀的言词。”

　　从卢承庆的遗言中可看出，卢承庆不仅清廉，而且是个对虚荣看得非常淡的人。在他任考功员外郎时曾遇到这样一件事。当时，考察官员有级别标准，先大体分成上中下，然后每一级再分成上中下，比如最好的是上上，差一点的是上中，以及中中、中下、下下之类。到年终考核时，卢承庆要奉命给下级官员评定等级。评定等级事关每位官员的仕途升迁，所以大家都非常紧张。在待考的官员中，有一个监督漕运的官员，此人在运粮食的过程中，由于翻船把不少粮食掉进了河里。因为运粮船沉没一事，卢承庆给那位运粮官评了个“中下级”，他对那个运粮官说：“你捅这么大娄子，没给你弄个下下就是照顾你的面子了。你把船都弄翻了，国家的粮食丢失了那么多，所以只能给你中下这么一个评价。”那位运粮官听后没有流露出半点不高兴的神情，一言不发退下了。

　　卢承庆很纳闷，我给他这么低的一个评价，他都没生气，说明他认识到了自己的错误，看来这人还真行，起码这个人有认错的表现，从这点上来讲，还是有责任心的，那就改个中中吧。

　　改成中中后，这个运粮官也没显得有什么高兴，依然没发表意见，既不说一句虚伪客套的感谢话，也没有激动的神色。卢承庆更纳闷了，心想，这个人可真绝啊，是升是降，他都能坦然面对，看来是个奇人，难得啊难得!卢承庆对他的反应表示赞赏，评为中上。

　　后来，卢承庆通过调查得知，那次船翻了，根本不是那个运粮官管理不善造成的，而是中途突然遇到大风，把粮船给吹翻了。卢承庆觉着冤枉人家了，于是又给那人的评定由中中改成了中上。

　　那个运粮官得知卢承庆给他的评定改成中上了，依然是一副坦然面对的样子，并没有因此而特别高兴。通过这件事，那个运粮官给卢承庆留下了深刻的印象，卢承庆器重他高雅的气量，欣赏那人宽宏的气度，在以后的吏部考核时，就特别注意提拔他。

　　《增广贤文》有这样一句话：“良田万顷，日食一升;广厦千间，夜眠八尺。”只有想得开，才能抛弃贪欲，淡泊名利，轻松愉快。