中国共产党自成立之日起，就意识到加强自身建设的极端重要性。1920年2月，毛泽东在《致陶毅信》中就指出，要完成改造中国与世界之大业，就必须“结合一个高尚纯粹勇猛精进的同志团体。”

　　1921年召开的中共一大，在讨论党的性质、最终奋斗目标以及党的现阶段斗争目标和策略等问题的同时，对党的自身建设问题也进行了讨论甚至是激烈争论。1922年7月中共二大通过《关于共产党的组织章程决议案》指出，“凡一个革命的党，若是缺少严密的集权的有纪律的组织与训练，那就只有革命的愿望便不能够有力量去做革命的运动。”《中国共产党章程》对党员入党程序、党组织的设置、党的会议制度、党的纪律等作出严格规定，对于健全党内生活、促进党组织的发展巩固起到了积极作用。

　　1929年底，中国共产党红军第四军第九次代表大会通过的著名的古田会议决议指出：“红军第四军的共产党内存在着各种非无产阶级的思想，这对于执行党的正确路线，妨碍极大。若不彻底纠正，则中国伟大革命斗争给予红军第四军的任务，是必然担负不起来的。”古田会议旗帜鲜明地提出用无产阶级思想进行军队和党的建设，保持党的无产阶级先锋队性质，对于红四军和其他红军部队党的建设产生了深远影响。

　　1935年12月，瓦窑堡会议在制定抗日民族统一战线新策略的同时，根据形势和任务的变化，对党的建设提出反对关门主义和“唯成分论”的新要求。决议指出，中国共产党是中国无产阶级的先锋队，同时也是全民族的先锋队。“为了完成中国共产党在伟大历史时期所担负的神圣任务，必须在组织上扩大与巩固党。”

　　1939年10月，党中央机关刊物《共产党人》正式创刊，毛泽东发表《〈共产党人〉发刊词》，指出统一战线、武装斗争、党的建设是中国共产党在中国革命中战胜敌人的三件法宝，而党的组织则是掌握统一战线和武装斗争这两个武器以实行对敌冲锋陷阵的英勇战士。为了更好地发挥中国共产党在抗日战争中的中流砥柱作用，毛泽东强调要“建设一个全国范围的、广大群众性的、思想上政治上组织上完全巩固的布尔什维克化的中国共产党”，并将这一任务称为“伟大的工程”。

　　《〈共产党人〉发刊词》对18年来中国革命和党的建设的经验进行系统总结，阐明了统一战线、武装斗争、党的建设是中国革命的三个基本问题，生动体现了马克思主义党的学说同中国共产党建设实际相结合。毛泽东立足抗日民族统一战线发展的形势，对党的建设作出战略性判断，指出，“我们党已经走出了狭隘的圈子，变成了全国性的大党。”毛泽东把党的建设同党的政治路线密切联系起来，科学回答建设一个什么样的党、怎样建设党这一重大问题，为中国共产党更好地适应国际国内形势变化带来的众多挑战和更好地解决党的发展中出现的新问题，推进党的建设“伟大工程”指明了正确方向，从而“使党铁一样地巩固起来，而避免历史上曾经犯过的错误。”

　　皖南事变爆发后，中共中央政治局多次召开会议，研究事变后的局势与对策。毛泽东指出，“自遵义会议后党内思想斗争少了，干部政策向失之宽的方向去了。对干部的错误要正面批评，不要姑息。我们党的组织原则是团结全党，但同时必须进行斗争，斗争是为了团结。”中央提出，“全党特别是军队中干部与党员的党性教育与党性学习，决不可轻视”。这是中共中央第一次向全党提出加强党性教育的问题。1941年7月，中共中央政治局通过《中央关于增强党性的决定》，指出了各种违反党性的错误倾向，如个人主义、无组织状态、分散主义等，并提出了克服这些错误倾向所应采取的措施和办法。1941年下半年，中共中央秘书长任弼时撰写《关于增强党性问题的报告大纲》，指出，党中央作出关于增强党性的决定，绝不是偶然的，因为“我们的党生存在一个半封建半殖民地的社会中”“各阶级、各阶层的复杂的不同的思想意识，不能不影响我们的党和我们的党员”。此后，增强党性锻炼成为党的建设这项“伟大工程”的一个重要内容。

　　办好中国的事情，关键在党。党的建设“伟大工程”随着时代的发展不断发展。1994年9月，党的十四届四中全会审议通过的《中共中央关于加强党的建设几个重大问题的决定》提出了新的历史时期推进党的建设新的伟大工程的总目标。1997年党的十五大第一次把“党的建设新的伟大工程”写进报告。

　　2012年11月，党的十八大报告中提出，要以改革创新精神全面推进党的建设新的伟大工程，全面提高党的建设科学化水平。2017年7月，习近平总书记在省部级主要领导干部“学习习近平总书记重要讲话精神，迎接党的十九大”专题研讨班开班式上指出：“党要团结带领人民进行伟大斗争、推进伟大事业、实现伟大梦想，必须毫不动摇坚持和完善党的领导，毫不动摇推进党的建设新的伟大工程。”这是我们党第一次把党的建设新的伟大工程与伟大斗争、伟大事业、伟大梦想并提。

　　2017年10月，习近平总书记在党的十九大报告中全面系统地阐述了“四个伟大”的辩证关系，指出：“伟大斗争，伟大工程，伟大事业，伟大梦想，紧密联系、相互贯通、相互作用，其中起决定性作用的是党的建设新的伟大工程。”党的十九大提出了新时代党的建设八项任务，号召全党必须毫不动摇坚持和完善党的领导，毫不动摇把党建设得更加坚强有力。2018年1月，习近平总书记指出：“在统揽伟大斗争、伟大工程、伟大事业、伟大梦想中，起决定性作用的是新时代党的建设新的伟大工程。”这是我们党首次提出“新时代党的建设新的伟大工程”。