泰山庙始建于何时已无考，明万历10年盐城知县杨瑞云重修。泰山庙原为四进级院房，入口处有八字墙，城门式的墙上书有“泰山庙”三个隶体大字；第二进为两层楼房；第三进是一座雄伟的古式建筑物棗飞檐楼，两边建有厢房数间；第四进为藏经楼。
1941年1月25日，新四军于皖南事变后在盐城重建军部，同年2月27日军部迁驻庙内。当年7月，日伪军发动对盐阜区第一次大“扫荡”，军部撤出，向阜宁县陈集区停翅港转移，泰山庙遭到敌机狂轰烂炸，破坏十分严重。至建国前夕，仅存遗址。1985年5月，盐城市人民政府根据中共中央宣传部和江苏省委决定，照原样重建，于次年10月建成并对外开放。
如今的泰山庙建有三殿两厢：前殿为日军焚毁，正在修复。正殿为新四军司令部作战室，军参谋长赖传珠在此办公，墙上依次悬挂着苏中、苏北、苏南、淮南、淮北、皖江和鄂豫边七块抗日根据地的作战地图(当时浙东尚未开辟)，东侧有两部电话、两张行军床，为军部作战参谋日夜值班的地方，西侧是报务人员工作场所。后殿为藏经楼，刘少奇政委和王前夫妇、陈毅代军长和张茜夫妇分别住楼下东、西房内。当中为小会议室，刘少奇在这里主持召开过两次华中局高级干部会议，陈毅也在这里接待过外国友人汉斯·希伯和罗生特。东、西各三幢厢房，原为中共中央华中局饶漱石、曾山和机要、警卫人员住地，现在的东厢是“刘少奇、陈毅生平图片陈列”和“新四军烈士纪念馆”(陈列团职以上烈士生平图片)、西厢为“黄克诚大将生平图片陈列”和“新四军纪念馆馆藏书画选展”。
泰山庙内有不少名人书画和题联题诗，藏经楼屏风上的“江淮英杰，卫国干城”的题联是江泽民1990年5月1日手书。
