1930～1934年，在北平师范大学国文系学习。1934～1938年，在清华大学研究院中文系学习。1938～1940年，任浙江大学中文系讲师。1940～1946年，任西南联合大学文学院中文系讲师、副教授、教授，兼任师范学院专修科文史地组主任，是当时联大最年轻的文科教授。1946～1957年，任南开大学中文系教授、系主任、语言学教研室主任，兼任清华大学、北京师范大学教授。1957年，为支援民族地区教育事业，被借调至内蒙古自治区，任内蒙古大学中文系主任。1975年又回到南开大学中文系教书。1981年调入北京语言学院（今北京语言大学），任外国留学生二系系主任、校职称评定委员会副主任、校学术委员会副主任等职。曾任天津语言文字学会副理事长、中国语言学会理事、中国音韵学研究会顾问等。

在汉语音韵学研究、社会语言学研究等领域颇有建树。早期致力于汉语音韵、音乐、文学三者之间关系的研究，从音乐角度看音韵。后又致力于汉语语音史、词汇史的研究，注重音义结合。晚年则致力于社会语言学研究，将语言与历史、地理、民族、文化结合起来。著作颇丰。

为纪念张清常对中国语言学的贡献，北京语言大学于2006年出版了5卷本《张清常文集》。

此外，张清常精通音乐，由他当年谱曲的《国立西南联合大学校歌》流传极广。

在音韵学领域，开辟了音韵与音乐之间关系的研究，1948年发表《中国上古*-b声尾的遗迹》一文，力证古代有浊音韵尾，修正了语言学界过去一直认为中国从古至今只有*-p、*-t、*-k三个清音韵尾而无浊音韵尾的观点。1980年发表《古音无轻唇舌上八纽再证》一文，力证清初钱大昕“古音无轻唇舌上”的假说。在社会语言学领域，关于北京胡同名称的研究独具特色，特别是对北京“胡同”一名源流的多次详尽的考证与阐释，认为“胡同”来自北方民族的借词“水井”（即有人烟义），在北方民族蒙古语、鄂温克语、女真语、满语中，“水井”音近huto，汉语借音而成“胡同”，这一结论颇具价值。