生于山东郓城，卒于辽宁沈阳。自小与父亲在村头弹拉说唱。师从王登海、王尔敬等学唱二夹弦、梆子戏、山东琴书等地方戏，学习演奏坠胡、二弦、四股弦、板胡，同时向樊西雨、黎连俊学弹古筝。1943年拜“丝弦之王”王殿玉为师学习擂琴、古筝，并随“东鲁雅乐社”到各地演出。1951年加入重庆技艺团，担任擂琴、古筝演奏员。同年6月，参加西南地区第一届戏剧音乐会演，演奏了山东筝曲《高山流水》和擂琴曲《借东风》，获优秀节目奖。1952年任职于天津曲艺团。1953年初在全国第一届音乐、舞蹈会演中获优秀表演奖。1953年秋，应聘于沈阳音乐学院，任古筝、擂琴教师及教授。并曾于1960～1962年兼任中央音乐学院古筝教师。

作为山东筝派传人，赵玉斋不仅继承了山东筝乐的艺术风格，而且创造性地发展了古筝的演奏艺术。1954年以山东筝曲《八板》为素材，改编了古筝独奏曲《四段锦》。1955年创作了著名的《庆丰年》，开创性地使用了古筝双手弹奏的技巧。之后，又创作了《公社好》《工人赞》《新春》等数十首乐曲，并且完成了古曲新编并整理民间乐曲200余首。先后在人民音乐出版社和上海文艺出版社出版了《筝曲选集》和《古筝曲集》，并为中国唱片社录制了《高山流水》《四段锦》《大八板》《凤翔歌》《庆丰年》《公社好》等唱片。其中《庆丰年》《新春》还分别获得了全国和辽宁省音乐作品一等奖。在擂琴艺术方面，他整理了王殿玉口授的乐曲多首，并创作改编了《忆昔》《幸福歌》《白毛女》《洪湖水浪打浪》等擂琴曲。1986年香港艺声唱片公司出版了《赵玉斋教授演奏的古筝曲集》（35首）盒式录音带3盒。1990年广州时代影音公司出版发行的《中国民族音乐名家名曲经典系列》中，收录有赵玉斋的12首独奏曲。

1961年9月，赵玉斋在西安古筝独奏欣赏会上演奏