在政权基本稳定之后，杨坚便开始了一系列的改革，包括了中央和地方的政治体制、赋税、土地制度、法律、钱币、对外关系等方面，加上对江南的统一。他的一大历史贡献就是，废除了曹魏以来的九品中正制，开创科举制，以考试取士。所以隋文帝杨坚在中国历史上还算得上是一个有功绩的皇帝，他对政治体制包括法制的改革，对于唐朝的体制是个直接的影响，实际上，唐朝的体制基本上是隋朝时的翻版，一般我们对唐朝的评价很高，但是，唐朝的很多的制度却是在杨坚的时候确定的，所以，我们在高度评价唐朝的唐太宗以及盛唐风范的时候，还是应该把功劳分给杨坚一点公平些。这就像我们景仰汉朝的鼎盛时，不应该忘记秦朝的功绩：汉朝的政治、法律制度基本上是继承秦朝的。因为秦朝的短命以及秦二世的暴虐，我们对秦朝的看法偏激了一点，不太公正，有点以成败论英雄了。

　　北周的官僚体制基本上是效仿原来西周时期的《周官》即《周礼》的形式，但实际上很乱。隋文帝即位不久，采纳大臣崔仲方的建议，“依汉魏之旧”建立中央机构。在中央设立三师、三公、五省。掌握政权的的是五省，三师是荣誉称号没有实权。三公虽然也有僚属，也参与国家政务，但仅仅是顾问性的机构，没有实权，也不常设置。皇帝是全国军事、政治、经济的最高主宰，拥有绝对权力。

　　执掌国家政务实权的是五省，即内侍省、秘书省、门下省、内史省和尚书省。内侍省是宫廷的宦官机构，管理宫中事务。秘书省掌管书籍历法，事务较少。

　　以上二省在国家政务中不起重要作用，起作用的是其他三省，这就是后来被唐朝继承的三省制。三省辅佐皇帝处理全国军政要务。门下省和内史省都是辅助皇帝的决策机构，内史省是起草诏书的机构，门下省则负责封驳，即审查机构。最后执行诏书的机构是尚书省，同时负责日常的政务，管的事最多，为此下设六部，分管各项政事。三省的长官：尚书令(尚书省最高长官，并设左、右仆射各一人为助手)、纳言(门下省最高长官)、内史(内史省最高长官)，都是宰相职务。六部的最高长官称尚书。吏部，掌管全国官吏的任免、考核、升降和调动;度支，后来改成民部，掌管全国的土地、户籍以及赋税、财政收支;礼部，掌管祭祀、礼仪和对外交往;兵部，掌管全国武官的选拔，和兵籍、军械、等;都官，后来改成刑部，掌管全国的刑律、断狱;工部，掌管各种工程、工匠、水利、交通等。开始的时候，六部叫做六曹，即六个办事机构。

　　隋朝的五省六部制，形式上是继承汉魏旧制，实际是总结了秦汉以来的统治经验，发展和加强了中央集权的封建国家制度，可以防止外戚大臣专权篡位和地方势力分裂割据。三省六部的官员品位不高，职权有较明确的分工，有利于皇帝集权和任免官吏。

　　除了五省六部，还有御史台、都水台，十一寺和十二府。这些后来基本上成为日本大化革新时参考的内容，如日本的八省制即是把五省和其他的机构融合而成的。到现在为止，日本的行政机构的名称还保留了隋唐时期的名字：中央的省相当于我国中央的部，但其地方机构是县，县长官知事是标准的中国古代名称，级别相当于我国的省长。其他如北海道、东京都、大阪府，都是从中国学来的名称。包括日本的和服，日本的仕女长相、装束等等，都是和隋唐时期的中国文化极其相似的，这不是巧合，而是直接学习的结果。

　　对于地方机构，杨坚也进行了改革，隋初地方行政机构，沿袭北朝的州、郡、县三级制。北周时，设置郡县很多，“或地无百里，数县并置;或户不满千，二郡分领”，形成“民少官多，十羊九牧”的庞大地方行政机构。583年，隋文帝接受大臣杨尚希的建议，精简地方机构，撤消境内五百多郡，把州、郡、县三级制改为州、县两级制。州设刺史，县设县令。同时，还合并一些州县，裁汰一批冗官。这就大大节省了政府的开支，提高了行政效率，也有利于减轻人民的负担。