其前身可追溯到1927年6月9日南京特别市立（第一）通俗图书馆。1930年4月易名为南京特别市立民众图书馆，馆址迁入夫子庙泮宫。1933年9月改称南京市立图书馆，后毁于战火。中华人民共和国成立后，市图书馆筹建工作几经波折，仍坚持送书到基层等服务。1980年10月，南京市人民图书馆在长江路262号建成开放，1984年10月改为现名。2010年10月，奥体新馆正式开放，位于南京市建邺区乐山路158号，总馆占地面积38641平方米，建筑面积25165平方米，内设多种阅读空间及配套服务设施，阅览座位1800余个。

金陵图书馆外景

　　截至2021年底，实体文献总藏量260余万册（件），馆藏电子文本、图片文献资源总量6TB，并不断更新和自建数字资源。

图书馆一方面积极做好书刊借阅、参考咨询、信息检索、会展培训等馆内服务；另一方面通过建设社区分馆、特色分馆、地铁图书馆和24小时图书馆等，在全市范围内推进图书通借通还、资源共建共享的公共文化服务体系建设；还不断致力于提高本馆的公共数字文化服务能力，积极开展包括移动阅读、远程咨询、文献传递等多种形式的网上信息服务，使高效快捷的知识信息传递惠及更多用户。

图书馆创新了“阅汇点”数字阅读平台，创建了“心惦图”等新型阅读项目，创设了以“阅美四季”为主题的全年阅读推广活动体系，并在全国公共图书馆界首创了读者自己的节日“读者节”。年均举办线上、线下各类活动近千场，参与人次数十万。图书馆与时俱进，顺应文旅融合，积极打造建设全市文旅融合阅读实践基地，并有效发挥市馆的龙头作用，联合全市区级公共图书馆共同打造“书服到家——南京共享图书馆”，在全国率先建立全市统一的图书馆信用网借平台，成为“送到家的图书馆”。

隶属于南京市文化和旅游局，下设办公室、事业研究部、宣传营销部、活动服务部、系统技术部、采访编目部、特藏发展部、综合阅览部、电教拓展部、分馆建设部、图书借阅部、少儿工作部等12个部门。

金陵图书馆是南京市文献资源保障中心、阅读服务指导中心和全市图书馆事业发展组织协调中心。2010年荣获文化部颁发的文化服务领域政府最高奖——“群星奖”，2010年6月被国务院授予第三批“全国古籍重点保护单位”，2013年和2018年分别在第五、第六次全国公共图书馆评估定级中获“一级图书馆”称号，2019年分别被中国图书馆学会和全国妇联评为“2019阅读推广星级单位”“全国家庭亲子阅读体验基地”，2019年“书服到家”项目荣获江苏省数字文化和智慧旅游示范项目，2020年至2022年连续3年被全国图书馆参考咨询联盟管理中心评为全国参考咨询联盟先进单位，2021年金陵图书馆“朗读者”公益助盲志愿服务项目被文化和旅游部办公厅评为文化和旅游领域学雷锋志愿服务“最佳志愿者项目”。