丞相作为官称，始于战国。秦从武王开始，设左、右丞相，《史记?秦本纪》载：秦武王二年（前309）“初置丞相，樗里疾、甘茂为左右丞相”。后来也被他国采用。秦始皇统一六国后，建立了我国历史上第一个统一的多民族封建国家。在对政治制度进行改革时，设立丞相、御史大夫、太尉，被称为“三公”。丞相“掌丞天子，助理万机”，成为皇帝的第一助手，协助皇帝处理全国政务。
西汉前期沿用秦制，《唐六典》卷一说“秦变周法，天下之事皆决丞相府。……汉初因之。”设左右丞相，以左丞相为首相，主管内政外交，汉初著名的丞相是萧何。但是到汉武帝时期，由于宠任外戚，丞相成了奉命办事的职务，失去了决策权，成为虚设。
魏晋南北朝时期是一个动乱时期，政权和军权都在权臣手中。宰相一职并没有定员，既没有定名，也没有定职。
隋唐时期实行三省六部制。三省六部制是西汉后逐步形成的，隋朝时正式确立，唐朝进一步完善。
唐朝的三省为中书省、门下省、尚书省。尚书省下辖吏、户、礼、兵、刑、工六部。三省长官共议国政，执宰相之职。
唐太宗任用宰相的范围扩大了，贞观年间著名的丞相是房玄龄和杜如晦。唐太宗常以品位较低的官员同三省长官共议国政，加以“参知政事”、“参预朝政”、“参议得失”等名号，执行相职。以后又出现“同中书门下三品”、“同中书门下平章事”等宰相名号。宰相成员增多，既便于集思广益，又使之互相牵制，从而避免出现权臣专权的局面，加强了中央集权，防止了皇帝大权旁落。
宋朝不再设专门的丞相职位，三省长官等同于丞相，同时设置参知政事为副丞相。还设置枢密院，长官为枢密使，分割军权。至宋代，另使枢密院掌管部分军权，以牵制武将、分散相权；另设三司掌财政，宰相理行政。到了南宋，虽重设左右丞相之职，但是已与秦汉时期的丞相大不相同了，只是一种秘书职务。
至元代。废三省制，只保留中书省，中书省设左右丞相，下统六部。
朱元璋建立明朝后，基本上沿袭元朝的官职，设立中书省，左右丞相，权极重。但是，丞相胡惟庸反叛，朱元璋杀胡惟庸之后，下诏书说：“以后嗣君，勿得议置丞相，臣下此请者，置之重典”。洪武13年永远废除丞相一职。
从战国时期，秦国始设丞相，位倾天下，到明朱元璋废除丞相，历经一千六百多年。千年丞相，一朝废除，并不是历史草率而为之，而是皇权与相权之争的必然结果，皇权逐渐加强，相权逐渐削弱，直至丞相一职淡出历史舞台。
