其前身是1955年卫生部中医研究院成立时设置的医史研究室和编审室。1971年，医史研究室和编审室合并为中医研究院医史文献研究室。1980年3月，卫生部批复“建立中国医史文献研究所”。1982年5月28日，中国中医科学院中国医史文献研究所正式成立。历任所长为李经纬、余瀛鳌、郑金生、彭春龙、柳长华、胡晓峰等。

研究所设医学史、中医文献、中医古籍数字化、民族医学、术语与工具书、医药文物、民间传统医药等研究室，以及中国医史博物馆、《中华医史杂志》编辑部。1978年起成为第一批博士、硕士授权点，2002年接受博士后进站。2002年起相继为国家中医药管理局中医史学、中医文献学、中医文化学重点学科建设单位。

该所涌现出了陈邦贤、马继兴、蔡景峰、马堪温和朱建平等学者。2019年在岗博士研究生导师7名、硕士研究生导师9名，已培养博士生80名、硕士生133名、博士后31名。承担并完成国家及各级课题200余项，出版《中国医学通史》《中医文献学》《马王堆古医书考释》《敦煌古医籍考释》《海外回归中医善本丛书》《百年中医史》等800余种，发表论文2700余篇，获各级奖励60余项，其中《中医名词术语选释》、“长沙马王堆一号汉墓出土药物鉴定”获全国科学大会奖，《中医大辞典》《神农本草经辑注》获国家科技进步三等奖，《针灸学通史》获中国出版政府奖图书奖。近期承担国家重点项目有中医古籍数字化、中医名词术语规范、中医药传统知识保护、中医非物质文化遗产保护研究。