裴荫森故居位于淮安河下姜桥巷30号，是淮安市的第二批文物保护单位。故居现存 厅房、穿堂、堂屋等四进，有房屋25间。其面南房屋4进12间，四进房屋西侧原有厢房。
  裴荫森(1823-1895)，字樾岑，清道光三年出生于阜宁洲门，同治二年(1863)两宫太后垂帘听政，他参加补行的殿试，钦赐进士出身，分任工部主事。同治十年(1871)，裴荫森读书焦山，徜徉林壑之间，寻求治世之道，或至金山旧友处纵谈古今。光绪九年(1883)二月，裴荫森升任福建按察使。光绪十二年(1886)春，裴荫森亲赴金陵与南洋大臣曾国荃定议，协造双机钢甲兵轮两艘，疏稿已具。值慈禧太后命拨海防经费二百万两修颐和园，遂止。光绪十六年(1890)，因操劳过度，二月告病假，四月续假归淮养疴，寓河下白酒巷宅内。