设于南京市。由时任两江总督的端方于光绪三十三年（1907）筹办，并委任缪荃孙为总办，委任陈庆年为坐办。是年，缪荃孙、陈庆年以7.3万元购得清末四大藏书楼之一的八千卷楼藏书，成为该馆的藏书基础。端方为扩充藏书，于光绪三十四年（1908）向光绪皇帝上奏《两江总督端方奏江南图书馆购买书价请分别筹给片》；宣统元年（1909）又奏请颁发《古今图书集成》给江南图书馆。其藏书来源还包括从各省官书局调拨的书籍，收购的武昌范道木犀香馆藏书等。端方还下令在南京龙蟠里盔山园惜阴书院旧址上兴建馆舍，于1910年9月完工，11月正式开放阅览。建馆之初，经费由咨议局拨发，后拟交学司图书局管理；学部曾专门致电端方，请其在经费方面尽力维持。清政府被推翻后，该馆于1912年2月改名江南图书局；1913年7月再改名江苏省立图书馆，随后又更名江苏省立国学图书馆（见“江苏省立国学图书馆”条）。江南图书馆成立后曾深受清政府肯定，学部这样评价：“各省设立图书馆，在宪政筹备之内，江南最为完善，经费颇省，来阅览者亦多。”