淮人曹镳《淮城信今录•卷九•香火志》云：“二帝祠，在淮安西长街蒲葭巷直西。自崇祯年邑令黄公文焕购此与士子讲学其中。本朝康熙初邑令谷公元亨绍绪其后，皆之为书院，而未立名，内侧有二帝祠一境，久之书院歇，人但知为二帝祠。乾隆乙酉、庚戌间邑人李璞安倡募，添建吕祖殿。近日为城内游眺之所。”

二帝祠东西长十六丈，南北宽二十二丈，占地面积六亩，原有殿宇五十七间，为当时淮安游览胜地之一。清顺治间诸生戴时麟在《万柳池晚眺》写出了二帝祠周围的优美环境，诗曰：“白蘋秋水近柴荆，薄暮间穿柳岸行。雉堞烟中过帆影，仙楼云外落棋声。人归远浦传菱唱，鱼跳清波引钓情。如此风光勘寄傲，何缘愁恨似虞卿。”又如道光宿迁诗人陈瑞芝《淮阴二帝祠题壁》刻画了二帝祠的迷人景色。诗曰：“半为城市半汀洲，芦荻萧萧引兴幽。一径衡芜通上院，数重楼阁占中流。窗开云影来鸿雁，檐压波浪起白鸥。到此尘心清似洗，诗情画意足千秋。”道光邑人诸生秦友白在《题蒲葭巷二帝祠壁》中说：“宛转湖山曲径通，苍葭四面绕烟笼。晨钟一响人心豁，野鹤数声天地空。鼓世渔郎秋水好，烧香士女绿荫中。飞来阁上流清响。迸入炉烟散午风。”；清河民初著名文人吴温叟曾多次来淮游览二帝祠，他在题为《游圆灵道院》的一首诗中写到：“一别山阳几岁华，重来深巷问蒲葭。细荷拓地仍三亩，垂柳当门又一家。今日题襟新伴侣，当年辟社旧茶瓜。度生桥上题诗处，剩有沈沈夕阳斜。”

淮安二帝祠原来并没有庙产，只是靠香火维持生活。在清末的时候，陈国瑞驻防二帝祠附近，他见二帝祠没有其他收入，他就慷慨地拿出一笔钱，请士绅丁石逸替二帝祠置百亩香火田，好维持以后生活。

陈国瑞在二帝祠驻防期间，经常与淮安名士尹耕云、吴昆田、田鲁渔、丁宝铨、蓝仲宣、顾秋岚、尹彦鉌、高延弟、陶仲篪等人有来往，他们经常在二帝祠丁晏修建的秋水蒹葭之馆抽毫赋诗。

后陈国瑞到南方打红头率兵走了，哪知丁石逸家将陈国瑞交代买田的钱压下来，没有替二帝祠置田，丁家都以为陈国瑞走了，不会再回来了，不料他们在南方打了胜仗又回到二帝祠来了。丁石逸发慌了，赶快将自家的田拿出来，算是二帝祠买的田。每年收租都由丁石逸家代替二帝祠，有什么事情，都由丁石逸出面去问、去管。

据现年91岁的二帝祠道士周明成回忆，其祖父周还须在民国八年（1919）去世后，丁家就起了黑心，将河西八坊半小堆头的田收归己有，每年只交二十石稻给二帝祠算作生活费。周明成的唐师父和周明成父亲都是老实人，不敢与他家据理力争，丁家在淮安地方上也是一个有头有脸的大户人家，只得如此下去。