现有面积2万余平方米。前身是足利义政（Ashikaga Yoshimasa，1436～1490）于1482年开始着手建造的东山山庄，在足利义政去世的1490年根据其遗愿被改建为寺院。

整个山庄以京都西芳寺为母本。其中超然亭是仿照西芳寺的缩远亭所建，建于山上，视野开阔。西指庵是仿照指东庵，其入口大门太玄关是仿照向上关，东求堂是仿照西来堂，夜泊船是仿照合同船，龙背桥、钓秋亭是仿照邀月桥、湘南亭所建的。观音殿则综合参考了金阁寺和西芳寺的琉璃殿的建筑样式。东求堂是持佛堂，堂内安置有阿弥陀如来像。堂内有书院同仁斋，最初是作为茶室使用。观音殿在后世被称为银阁，是一座重层建筑，上层是潮音阁，下层为心空殿。据《大乘院寺社杂事记》《荫凉轩日录》等的记载，庭石取自鹿苑寺和室町殿等，庭木是从等持院、奈良大乘院等地调运来的。

1615年，宫城丰盛对庭园进行了大修整，奠定了现能看到的银阁寺（见图）的原型。譬如园林东部山畔的洗月泉周边、东北部的茶井周边皆为当时的样式，建筑物中只有银阁延续了室町时代的方位。此后在江户年间，园林的多个部分被多次修改。1735年的《筑山庭造传（前编）》所描绘的银阁寺园林中，锦镜池的形状、岛与桥的布局、银阁的方位等皆与园林现状相同，而银沙滩、向月台等则还不存在。而1799年的《都林泉名胜图会》的描绘中已有银沙滩及向月台，应该是在这之间建造的。在历史变迁中，观音殿银阁和东求堂保留了当初的原貌。此外，在1931年，漱藓亭迹一带也被挖掘但很快得以修复。

银阁寺内的红叶