日本园林的起源事实上已不可考，从大范围上讲以公元前农业文明在日本的普及为背景。在汉代，大陆文化业已经过朝鲜半岛东传至日本。就当时而言，“园林”有庭或苑等形式，很大程度上只是园艺植物的种植园地。但日本人对生活环境的景观或美学的意识，确实是在大陆文化传入的刺激下逐渐发展起来。

文献中关于日本园林形成的雏形有不少相关记载。如公元5世纪末宫中有曲水宴，公元6世纪与7世纪之交推古天皇宫中造有须弥山及吴桥，岛大臣苏我马子建造了池泉园。此外依据考古发掘可知，建造于公元7世纪中叶以后的飞鸟及藤原宫的园林遗构已经具备了日本园林一定的独特性。

岛大臣苏我马子的池庭“岛之庄”尚存遗构，内有42米见方的自然驳岸水池，是当时大陆文化及园林影响下的产物。规则形制的园林可以认为是源自中国的大陆样式，正如韩国庆会楼及香远亭等那样的园林。在半世纪后建造的藤原宫已经不是规则形制的园林。如《作庭记》所言的“师法自然山水，随宜因之而立石”等论断，日本园林对自然景观的偏向其实反映了民族性的喜好，反映在吉野宫瀑布等当时流行的山庄离宫等样式中，这是之后形成的象征式自然风景这一日本园林的重要特征的文化性基因。

日本园林经历了长期的发展，呈现为多阶段多样式的特征，产生了诸如池泉回游、池泉坐观、净土式、枯山水、茶庭、借景等诸多园林类型及样式；同时亦遗存有各个时代的代表性的园林，如平安时代的平等院庭园、毛越寺庭园，镰仓室町时代的金阁寺庭园、银阁寺庭园、天龙寺庭园、西芳寺庭园等名园，江户时代的小石川后乐园、兼六园等代表性的池泉回游式庭园。甚至在近代，亦有以造园家七代目小川治兵卫及京都南禅寺园林群为典型的造园活动高峰，并且传承至现代。

总而言之，关于日本园林的总体特征，往往有自然风景式、缩景或借景、象征性景观、自然顺应式等多种说法。正如这些说法所表征的，日本造园自身的物质性与世界其他园林类型相比，确实具备强烈的自然主义属性。