淮安晚晴四大家族之杨氏家族首位定居淮安的便是漕运总督杨殿邦。杨殿邦在淮任职时，有几处房产。兴文街三号也是其故居之一，现存客厅、穿堂等建筑多进，占地面积约1000平方米。朝南厅堂面阔3间12米，进深7檩7.6米，檐高4米，梁上有雕饰。
  史书记载杨殿邦“天资聪慧，善书画，工诗词古文，精武术骑射”，先后任顺天乡试同考官、河南乡试正考官、云南学政、监察御史、太仆寺少卿、詹事府詹事兼顺天府尹、山东乡试正考官、贵州按察史、山西布政使、内阁学士兼礼部侍郎、仓场总督兼户部侍郎，道光二十四年（1844）任漕运总督，在沿海抵抗外国入侵有功。咸丰年间从淮安南下，在扬州东北面邵伯镇一带阻击太平军，被太平军打败,清廷将他罢官,在军中戴罪作战，令福济取代他的职务，咸丰9年（1859）卒于军中，恤赠太仆寺卿。著有《菜香小圃诗集》、《心太平居文集》等。