在调整和确立了中央和地方的关系的同时，宋太祖对君臣关系也进行了调整。在他看来，地方权力集中到朝廷，还没有完全解决中唐五代以来“君弱臣强”的问题，因而应该进一步削弱文武百官的权力，使由地方集中到朝廷的权力最后完全集中到自己手中，“总揽威柄”，“独制天下”。

　　宰相是封建社会的“百官之领袖”，处于“一人之下，万人之上”的地位。宋太祖即位后，宰相奏事仍沿旧制。有一天早朝，他突然对宰相王溥、范质说：“我眼睛有些昏花，把你们的奏疏送上前来。”在范、王二相离座递疏时，宫廷侍卫乘机将他们的座位搬走。自此以后，宰相在皇帝面前毕恭毕敬地站着奏事成为定制，宰相的地位大大下降了。另外，他还经常设宰相不止一人，在宰相之下还设参知政事若干人，另外又设置枢密使，以分享宰相的军政大权;设置三司使，以分享宰相的财政大权。

　　与削弱相权同步进行的，则是在百官中推荐“官、职分离，互相牵制”的任官政策。宋代官制中，“官”是品级，只有据此受俸禄的作用;“职”是殿阁、馆阁学士一类的荣誉称号，亦没有实际权利;只有由皇帝或书省“差遣”的临时职务才是实职，即执行实际权力的职务。这种职、权分离，名、实混淆的任官体制，使任何官员都无法集中权力、荣誉、威望于一身，权大者并不一定职高，望重者并不一定位显。这样也就很难形成对皇权的威胁了。

　　皇帝临时“差遣”的实职，也是依照“分权而相互牵制”的原则进行安排的。如宋代有固定的尚书省兵部，但兵部尚书只是虚职，并无实际兵权，只是被差遣为枢密使才有相当于兵部尚书的实权。不过枢密使也只是有奉旨调兵之权而无领兵之权，领兵之权归“三衙”长官。同理，“三衙”的高级将领虽然名为禁军的最高统帅，却也只有领兵之权而无发兵之权。

　　宋朝建立前的半个世纪里，中原如走马灯似地换了五个朝代。天下大乱，谁有了刀枪，谁便可称霸一方，甚至当皇帝。无论是当地方官，还是当武官，几乎都张开贪婪巨口，搜刮民财。贪官污吏对贪污敛财，不以为耻，反以为荣，形成了一种极坏的社会风气。

　　宋太祖深深认识到，如果听任贪污敛财在新王朝肆无忌惮，到手的政权就会得而复失。因此，宋王朝开国初期比较重视倡廉惩贪。

　　《宋史本纪》载，太祖“绳赃吏重法，以塞浊乱之源”。清朝历史学家赵翼在《二十二史札记》中有“宋初严惩戛吏”一节，专论太祖惩贪。据统计，宋太祖在位17年，对28个贪官处了死刑，还将一些问题不严重的贪官贬官飚职。所处死刑者，有县令、通判、郎中、将军、监察御史、拦遗、太子中舍、太子洗马(均为皇太子府高级管理官员)、内班(皇宫管理官员)等等。

　　开国初，宋太祖曾立官吏晋升制度：文臣五年、武臣七年晋升一级，到期能否晋升，主要看任期内有无贪赃问题。如果有问题，但还不太严重，文臣则要七年，武臣则要十年才能晋升，对这种官员的晋升还必须上奏皇帝批准。

　　建隆三年(962)八月规定：贪官的奴婢、邻居、亲戚主动揭发，给以奖励。干德五年(967)正月，节度使王全斌虽然在平定后蜀时立了大功，但因“黩货杀降”而被公开批评降职。

　　三月，县令源铣，县主簿郭彻二人，以贪污罪判死刑。借这一案件，宋太祖向全国下诏，警诫全国各级官员。六月又下诏，严令各级官吏不得接受贿赂，滥用权力，。

　　对贪官严惩是必要的，却是消极的。宋太祖对此有清醒的认识。据《续资治通鉴长编》记载，宋太祖在一份诏书中说：“吏员猥多，难以求其治;俸禄鲜薄，未可责以廉。与其冗员而重费，不若省员而益俸。”宋太祖这个账算得精明。因此，宋王朝开国之初实行的是一条精简官员编制、合并州县、提高官吏待遇的政策。宋朝的“冗官”之弊并非开国时造成的，而是第三个皇帝(真宗)以后的事。