他首先从地方机构改革着手。洪武九年(1376)，朱元璋下令撤销行中书省，设立承宣布政使司、提刑按察使司和都指挥使司，分掌行政、司法、军事权力，三者地位平等，互不统摄洪武刻本《皇明祖训》，向中央负责。全国分为浙江、江西、福建、北平、广西、四川、山东、广东、河南、陕西、湖广、山西十二个布政使司，洪武十五年(1382)增设云南布政使司。

　　而朱元璋更为关心的是中央机构的改革。洪武十三年(1380)，他借口胡惟庸谋反，趁机宣布撤销中书省，不设丞相，提高六部职权，分掌天下事务，直接向皇帝汇报。"罢宰相不设，析中书省之政归六部，以尚书任天下事，侍郎贰之"。朱元璋惟恐后世子孙不理解自己的苦心，特意在《祖训》中明文规定不许变乱旧章："以后子孙做皇帝时，并不许立丞相。臣下敢有奏请设立者，文武群臣即时劾奏，将犯人凌迟，全家处死。"同时将掌管全国军事的大都督府一分为五，改为前、后、左、右、中五军都督府，分领所属都司卫所部队，但无权调兵。