1945年4月，中共七大在延安召开，会上举行了中国革命死难烈士追悼大会，并酝酿抗日战争胜利后建立烈士陵园。毛泽东、刘少奇、朱德、任弼时等中央领导人亲笔为烈士题词，转交当时参加七大的晋冀鲁豫边区代表。1946年3月19日，晋冀鲁豫边区参议会第一届第二次大会在邯郸召开，30日大会做出决议，在邯郸修建晋冀鲁豫烈士陵园。当天下午晋冀鲁豫边区政府主席杨秀峰，副主席戎子和，参议会副议长邢肇棠、晋冀鲁豫军区司令员刘伯承、政委邓小平、副政委薄一波、张际春，参谋长李达及杨立三、宋任穷等偕全体参议员到邯郸城南郊举行破土奠基仪式，刘伯承挖了第一锨土，并发表了讲话。在中共晋冀鲁豫中央局的领导下，由刘伯承、杨秀峰、邢肇棠、张际春、薄一波组成筹建委员会。历经4年多的建设，于1950年10月主要建筑竣工。根据中央决定，内务部筹备召开了落成典礼暨公祭大会。朱德、周恩来、陈毅、刘伯承、邓小平、聂荣臻、徐向前、叶剑英等党和国家领导人先后为陈列馆、纪念塔、人民英雄纪念墓、左权将军墓等各建筑物题名、题诗。21日隆重举行了烈士陵园落成典礼与安葬左权将军暨诸烈士公祭大会。中央人民政府政务院代表谢觉哉、中国人民革命军事委员会总政治部代表魏传统、华北军区代表张南生、西南军区暨第二野战军代表姚继鸣、人民政府代表杨秀峰、平原省人民政府代表贾心斋，邯郸党政机关、学校、部队等各界代表及烈士家属共五千余人参加典祭。谢觉哉部长代表中央人民政府为烈士陵园落成剪彩，并宣读《祭文》，向烈士祭奠。解放战争时期，朱德、刘伯承、邓小平、董必武、陈毅等多次来陵园指导工作，也曾数次住在陵园。