随着魏晋玄学的兴起，先秦的《老子》《庄子》等经典蕴含的“自然”“有无”“言意”等概念成为玄学家谈论的主题。正始玄风兴起之际，嵇康、阮籍已引玄理入诗，太康诗人的诗歌也颇杂玄言。但玄言诗的盛行是在东晋时期，以致“诗必柱下（老子）之旨归，赋乃漆园（庄子）之义疏”（《文心雕龙·时序》）。

孙绰、许询是玄言诗的代表诗人，他们的诗歌主题单一，如同《老子》和《庄子》的注疏，语言枯燥，“理过其辞，淡乎寡味”（钟嵘《诗品序》），把诗歌做成平淡无味的说教文字。随着佛教的发扬光大，玄言诗在东晋僧人支遁等人的手中，又创造出阐述佛理的新内容。玄言诗是东晋诗坛最为典型的代表，且具有重要的文学史意义。如玄言诗人“辞意夷泰”，追求诗歌语言的清新简约和风格的简洁平淡，形成了简约清淡的美学境界；玄言诗人崇尚自然，发现了山水的审美趣味，促进了山水诗的兴起；玄言诗人重视言外之意，提升了诗歌的蕴藉和滋味；玄言诗人擅长说理，增加了诗歌的理趣，开创了说理诗的形式。