洪武二十四年（1391年），朱元璋“以江南地薄，頗有遷都之意”，於是派太子朱標巡視關中與洛陽，為遷都作準備。
朱標詳細考察了西安和洛陽，比較兩地的地形，最終“誌欲定都洛陽，歸而獻圖”。
朱標視察返京後不久患病，在生病期間還向太祖上書關於籌建都城的事。
次年朱標病逝，諡號懿文太子。這對年近七十的朱元璋是個沉重的打擊，再也沒有精力和心情考慮遷都的事情。
朱元璋看到朱標次子朱允炆表現十分孝順而很喜歡，後來立其為皇太孫。
洪武三十一年閏五月初十（1398年6月24日），朱元璋駕崩於應天皇宮，下遺詔：
朕膺天命三十有一年，憂危積心，日勤不怠，務有益於民。
奈起自寒微，無古人之博知，好善惡惡，不及遠矣。
今得萬物自然之理，其奚哀念之有。
皇太孫允炆仁明孝友，天下歸心，宜登大位。
內外文武臣僚同心輔政，以安吾民。
喪祭儀物，毋用金玉。
孝陵山川因其故，毋改作。
天下臣民，哭臨三日，皆釋服，毋妨嫁娶。
諸王臨國中，毋至京師。
諸不在令中者，推此令從事。
朱元璋死前密命駙馬梅殷（寧國公主之夫）輔佐新君，遺詔命皇太孫朱允炆繼位。
朱元璋駕崩幾天後，朱允炆於洪武三十一年閏五月十六日（6月30日）即位，改明年為建文元年，是為建文帝。
朱元璋死後葬於紫金山孝陵。
朱元璋死後，他生前規劃的政治局麵很快被打破。
建文帝即位後采取削藩政策，北平的燕王朱棣打出“靖難”的旗號，起兵反對建文帝。
建文四年（1402年），燕王朱棣取得勝利，在南京稱帝，建文帝下落不明。
明初官僚機構沿襲自元朝。
朱元璋進行了改革，在中央廢除中書省，明初中書省負責天下政務，其長官為左、右丞相，位高權重，丞相極易與皇帝發生矛盾，明朝時以胡惟庸任丞相後最甚。
胡惟庸勢力逐大，威脅皇權，且日益驕橫，懈怠政事。
於是，洪武十三年（1380年），朱元璋以圖謀不軌之名處死了胡惟庸和有關的官員，同時宣布廢除中書省，不再設丞相。
在地方廢除行省製，設立承宣布政使司、都指揮使司和提刑按察使司，分彆擔負行中書省的職責，三者分立又互相牽製，防止了地方權力過重。
在各府縣的重要地方，朱元璋還設置了巡檢司，負責把關盤查、緝捕盜賊、盤詰奸偽。
朱元璋高度肯定了法律的治國作用。
他說：“夫法度者，朝廷所以治天下也”。
於是在朱元璋即吳王位時（1364年）就提出“建國之初，先正綱紀”，命左相國李善長等草創律令，編律285條，令145條，到吳元年十二月“甲寅，律令成，命頒行之。”這便是最早擬定頒行的《大明律》。
經過吳元年（1364年）、洪武六年（1373年）、洪武二十二年、洪武三十年四次修訂，最終完成了《大明律誥》“刊布中外，令天下知所遵守。”
在具體的治國方麵，朱元璋以元末“朝廷暗弱，威福下移”，綱紀敗壞，官吏驕恣，從而致使元朝傾覆，順帝北遷作為教訓，立國後采取了“治亂世用重典”的原則。
朱元璋始終認為“胡元以寬而失，朕收中國，非猛不可”。
以此思想作為指導，如在刑名製定方麵，明朝對“事關典禮及風俗教化”一類非直接侵犯君主政權的犯罪量刑輕於唐律。
但對“盜賊”及“帑項錢糧”之類直接危及**統治的重大犯罪量刑則重罪加重，法外用刑，狂誅濫罰，製定了族誅、斷手、刖足、閹割為奴、挑筋去膝蓋等一係列法外刑。
洪武十五年（1382年），出於監控官員的需要，朱元璋將管轄皇帝禁衛軍的親軍都尉府改為錦衣衛，並授以偵察、緝捕、審判、處罰罪犯等權力。
錦衣衛是一個正式的軍事特務機構，由皇帝直接掌控。
它有自己的法庭和監獄，俗稱“詔獄”，詔獄裡采取剝皮、抽腸、刺心等種種酷刑。
朱元璋還讓錦衣衛在朝廷上執行廷杖，有很多大臣慘死杖下。
朱元璋派出大量名為“檢校”的特務人員，暗中監視。
但是到了晚年朱元璋逐步廢除了錦衣衛及其特權，以及一些比較殘酷的刑法。
朱元璋出身貧苦，受貪官汙吏的敲詐勒索，又鑒於元朝的政治混亂，故以猛治國。
即位後在全國掀起了“反貪官”運動，矛頭直指中央到地方的各級貪官汙吏。
首先，對貪汙六十兩銀子以上的官員格殺勿論。
從地方縣、府到中央六部和中書省，隻要是貪汙，不管涉及到誰，決不心慈手軟，一查到底。
其次，明初的中書省下屬吏、戶、禮、兵、刑、工六部中，由於大量留用元朝的舊官吏，以及一些造反起家的功臣他們有恃無恐貪贓枉法，朱元璋對這些官員進行懲處。
第三，朱元璋利用殘酷刑法處置貪官，采取“剝皮揎草”、挑筋、斷指、斷手、削膝蓋等酷刑。
這種舉措震懾了一批官員，使他們行為大為收斂。
第四，朱元璋對自己培養的官員決不姑息遷就。
為了培養和提拔新力量，朱元璋專門成立了培養人才的國子監，為沒有入仕的年輕讀書人提供升遷機會。
他對這些新科進士和監生厚愛有加，還經常教育他們要儘忠至公，不為私利所動。
第五，朱元璋製定整肅貪汙的綱領《大誥》和《醒貪簡要錄》。
《大誥》一書是他親自審訊和判決的一些貪汙案例成果的記錄，書中還闡述他對貪官態度、辦案方法和處置手段等內容。
朱元璋下令全國廣泛宣傳這本書；他還叫人節選抄錄貼在路邊顯眼處和涼亭內，讓官員讀後自律，讓百姓學後對付貪官。
第六，允許民間百姓上訪。明朝允許百姓扭送不法官吏。
如果官吏在征收稅糧以及攤派差役作弊枉法，百姓可以向上級官吏舉報，也可以直接扭送。