常言：“皇族有太庙，百姓有祠堂”。古徽州百姓聚族而居，出于敬宗收族的需要，每个百姓都建有规模不一的祠堂。祠堂分宗祠、支祠、家祠三种，其中宗祠规模较大。棠樾村中的敦本堂，是棠樾鲍氏的“男祠”，供奉鲍姓各世祖宗。清懿堂是鲍氏家族为了颂扬鲍氏历代烈女贞妇而建的纪念馆，是中国少有的“女祠”，另外还有教育后代修身“慈孝”的世孝祠等。

    祠堂的建立在当年是宗人的排行，显其德高望重和受人仰戴。同时又可显示那些在外的商人荣归故里的气派和才干。祠堂的建筑特色也各尽所能。如敦本堂的结构，梁头出挑承檐，辅加斜撑支持，梁驼、雀替普遍使用，反映了当时通用的建筑手法。木构件的装饰也具有浓厚的地方特色：冬瓜梁的出头部分做成象头状，形态逼真，雕刻多样。寝堂檐下做带有枫拱的头拱，不承担出檐的重量，纯为装饰而设。祠堂的木石结构，虽然雕饰不繁，却显得精致大方。

    古代祠堂的修建，注入了浓厚的封建思想。在封建社会里，男为天，女为地，妇女的地位是绝对低下的。为了做到克勤克俭，恪守孝道，完成大礼的孝道，许多妇女“功名成就”面成了烈女和贞妇。其实这都是对妇女精神的一种压迫和对幸福生活的剥夺。因此，男祠要大于女祠。修建女祠的原因，道来更是令人淆然泪下。

    棠樾的民居也很有特色。从世济桥到济穷仓，从坪头掌书园到花墙，从鲍氏老屋到鲍氏始祖墓，从慈孝门到棠樾中街，这些被保护完好的文物古迹，不仅记载了当时棠樾家族的兴衰史，也饱蕴了徽州文化的宝典。棠樾民居故事之多，十分引人入胜。“老天爷神助鲍象贤灭内乱”，留下了“狂风吹散了瘟疫，冰雹打灭了蝗虫，暴雨消减了旱灾”的美谈。“考点心”的典故，鲍志道应考盐行帐行的机智与才华跃然纸而现；乾隆爷借银子和雪犁考，则戏撰天子皇帝下江南的我家辑事，民间流传的故事中，“鲍家无懒橙”一则道出了鲍家勤奋治家的风尚。相传乾隆时代，扬州分旧城与新城。鲍志道昌腾于盐业，富甲江南，便于扬州新城盖了一处府弟。落成那天，管家引鲍志道巡视了院庭，刚进大门，鲍志道指着大门两旁各置的木橙问：“放置两橙何意？”管家答道：“此橙曰懒橙。凡扬州大家馆府均设此橙，是怕下人劳作过勤而便于休息，以此来显示主人仁爱宽儒之风度。”鲍志道沉思片刻，吩咐管家：“撤除此橙。自今以后，凡鲍家，不许有懒橙！”后来清代文人林苏门作诗称颂：“胡然无懒橙，只此一商家------守者勤劳惯，当门侍立斜”。于是“鲍家无懒橙”便成了扬州城达官贵府的一名言。