其创立可追溯到4世纪的罗马教廷图书馆,正式建立于1451年。为了助益学者的研究,教皇尼古拉五世在位(1447~1455)期间打破中世纪修道院图书馆的常规,利用其权势和财力,派人去英国、德国和希腊等国家广泛搜集古典著作和世俗作品,并请学者把古希腊著作译成拉丁文,使馆藏拥有拉丁文手稿824卷、希腊文手稿352卷。西克斯图斯四世在位(1471~1484)时也很重视图书馆,为图书馆确定了大量经费购买图书和设备,还在教皇宫殿一楼设置特藏书库,在4个房间内分别存放拉丁文图书、希腊文图书、手抄本和教皇记录文件。西克斯图斯五世就职后派人用3年时间建成图书馆宫殿,壮丽的大厅和多彩的壁画是梵蒂冈图书馆建筑的一大特色。1475年意大利B.普拉蒂纳担任馆长,其实行开放政策以便公众能利用该馆藏书,并编制了馆藏目录。
17世纪开始陆续收入许多著名藏书家的文库,包括奥斯尼文库、柏拉蒂尼文库、乌比诺文库、博兹修道院手抄本、瑞典女皇克里斯蒂娜文库、卡帕尼尔尼文库、红衣主教杰拉达文库、比尼阿拉伯爵文库、红衣主教迈耶文库等。19世纪末利奥十三世时,该馆开始向世界各国学者开放,为此设置了阅读手稿的阅览室。在德国历史学家F.埃尔勒任馆长期间设置了拥有6万册书的参考工具书室和修补防虫工作间。由于埃尔勒的努力,拥有大量珍)藏的意大利博尔格泽家族文库和巴尼贝里尼家族文库也被收藏进来。随后开展了重要手稿的复制工作,以便读者利用。20世纪初庇护十一世亲自主持图书馆工作的现代化。1928年在卡内基国际和平基金会和美国国会图书馆的支持下改进了目录体系。1931年制订著录条例,在书库装置了当时最先进的设备。1934年建立了一所图书馆学校以培训图书馆员。
作为世界上手稿最丰富的收藏馆之一,梵蒂冈图书馆保存手稿18余万卷(包括8万件档案)、印本书160万册、古籍8600多本,其中中国古籍善本2000多种。馆藏以基督教、古希腊哲学、神学、古典文学、历史、文献学等独具特色。须办理图书馆借阅证方可进入,仅对研究人员和学者开放,图书馆借阅证可兼作进入梵蒂冈教皇国的入境证。