公元1368年，朱元璋在南京称帝，国号大明，年号洪武。随后朱元璋对有功之臣之臣进行了封赏，李善长和徐达两人位列功臣榜前列，李善长官拜中书省左丞，统领百官；徐达官拜中书省右丞，统领武官。在最初的功臣榜并没有胡惟庸的名字，他是在大明王朝建立后才崭露头角的
在朱元璋建立大明前夕，李善长向朱元璋推荐了他的老乡胡惟庸，随后朱元璋提拔还是宁国知县的胡惟庸为太常少卿。洪武六年(1373年)，淮西集团首领李善长举荐胡惟庸担任右丞相。洪武十年(1377年)六月，胡惟庸被朱元璋升任为百官之首的左丞相。
胡惟庸从洪武六年开始担任中书省右丞到洪武十三年胡惟庸案发这七年时间里，他结党营私，朝中遍植朋党，不留余力的打击异己，对以刘伯温为首的浙东党进行特别照顾，使得淮西集团的势力不断壮大。
浙江青田人刘伯温，曾经辅佐朱元璋打天下，立下了汗马功劳，但由于他与淮西集团有矛盾，所以一直都没有被重用。大明王朝建立后，朱元璋论功行赏，刘伯温只被封了一个诚意伯，俸禄只有240石。而李善长则被封为韩国公，享受俸禄4000石。这样巨大的差距让老刘萌生了退意。
刘伯温对胡惟庸为相还劝过朱元璋:“譬之驾，惧其偾辕也。”意思就是说胡惟庸做事一向积极，果断，容易与控制欲极强的朱元璋产生政见上的分歧。但是刘伯温推荐的杨宪和汪广洋两个人在相位上没呆多久就人头落地了。朱元璋只能把目光落在了胡惟庸身上，老胡同学心里同样大喜，终于成为了一人之下，万人之上的中书省丞相。
也正是刘伯温说过胡惟庸不宜入相的话，这才让胡惟庸记恨于心。洪武八年(1375年)，刘伯温生病，胡惟庸派医生前去探望，刘伯温在服用医生开的药后没多久就一命呜呼了。
如果说排除异己只是朱元璋杀胡惟庸的一个借口，那么朱元璋杀胡惟庸的关键所在却是他的独断专行。朱元璋是一个控制欲超强的帝王，他绝对是不允许还有人可以逃脱他的掌控。
胡惟庸在壮大淮西集团势力的同时，胆子也越来越肥，到了后来许多生杀黜陟等重大奏折，他不再向朱元璋汇报请示，反而擅自截扣下来自己处理。轻车熟路的胡惟庸越来越膨胀，这就让老朱增添了几分杀意。
朱元璋建立大明王朝后，对朝中大臣一直都有猜忌之心，特别是明朝的四位宰相都一一被他所杀，到后来他彻底废除宰相制度。虽然朱元璋有过多次对宰相权力的削减，但宰相始终还是一人之下，万人之上。相权的成在本身就是对皇权的一种威胁，再加上胡惟庸变本加厉，为非作歹，朱元璋不杀你杀谁？
汤和药已经备好，就差一副药引了。洪武十三年(1380年)正月，胡惟庸在其旧宅的井里，从新涌现出了新泉，认为是祥瑞之兆，并邀请朱元璋前去参观。朱元璋也想见识一下旧井新泉的风貌，就欣然接受邀请。
出发前，朱元璋让太监云奇先去探路，当朱元璋走到华西门时，太监云奇跑过来急忙拉住缰绳，急不能言，用手拼命的指上胡家。朱元璋感到事态严重，立即返回，随后登上宫城时发现胡惟庸家上空尘土飞扬，墙道藏有士兵。
朱元璋大怒，以“枉法诬贤”、“蠹害政治”等罪名，在当天就处死胡惟庸、陈宁等人。胡惟庸案牵连之广(连李善长在内有3万多人被处死)、时间之久(长达10时间)，影响深远。
在胡惟庸案发生后，朱元璋加强了中央皇权集中制，彻底废除宰相制度，从此以后封建王朝中的“丞相”职权被三省六部所瓜分。因此中国最后一位挑战皇权的丞相胡惟庸，成了朱元璋改革宰相制度的垫脚石。
