卢氏人口众多，分支居住，房屋是不同时期先后建造的。全宅的平面布局以肃雍堂轴组为主体，左右分置8个轴组。轴组间有纵横小巷，使房屋分成数“片”。每组各有若干院落和大门出入，定有堂名，作为一“房”的居住处所。宅后有月形小池，池边有树木和叠石，为原先园林的残迹。通向卢宅的大道上原有明清时期所立的木、石牌坊17座，现已毁坏殆尽。

 东阳卢宅

肃雍堂一组，前临大路，建有八字砖墙影壁，入口处前后立有3座明清时期所建的大型牌坊（见坊表），中间为石路，路两边立有磨砖高墙围成甬道，气象严肃。道经二折，便是仪门，自仪门开始共有9进院落，总长216米。

仪门面阔3间，为了突出重点，将明间高度超出次间屋面，做成外形似“阁”式悬山顶门楼；门里为23米×18米的大庭院，过去有旗杆石备作祭祀之用。两侧有楼房5间、平房10间，是陈列祖先牌位和画像的地方。

仪门后为正厅肃雍堂，建于1455～1462年，供全族祭祀或喜庆集宴等用；面阔5间，前后两厅用廊连成工字形平面。厅前廊为卷棚顶，正厅为重檐悬山顶。柱身呈梭形，下有石础。檐柱柱头有斗栱，做成花瓣式坐斗，平身科斗栱后尾做成类似镏金斗栱的挑杆，杆身稍带弯曲，以承托金桁（金柱上的檩），增加了轩顶气势。梁架用材硕大，多做月梁形式，断面呈琴面。檐下多用托脚，并雕出动物图案。所有梁枋全部绘彩画，构图自由，用色古朴。肃雍堂后6进院落统称世德堂，建于清代中叶，前后院落都有院墙隔开，正中辟门贯通。

世德堂同其他各组建筑的规模和装饰，都不超过主厅肃雍堂的规制。其院落都按当地“十三间头”基型组成。两侧厢房都是楼房，自前至后通长，不受厅堂分隔影响。屋架结构为传统的抬梁式构架。宅中还大量地运用了木雕装饰，窗格做成朴素的直棂格，具有地方特色。