生于萨尔茨堡，卒于萨尔茨堡附近的阿尼弗。其父恩斯特是医务官员，业余演奏单簧管。卡拉扬幼年学习钢琴，5岁登台演奏。后进入萨尔茨堡莫扎特音乐学院学习钢琴和指挥，师从该院院长B.鲍姆加特纳。到维也纳后，师从F.沙尔克学习指挥。1928年12月17日首次在维也纳指挥学生乐队。1929年首次受聘担任乌尔姆市立剧院指挥。1934年受聘担任乌尔姆市立剧院音乐总监。此后到亚琛，应聘指挥歌剧和交响乐演出共5年。1936年在维也纳国家剧院指挥演出W.R.瓦格纳的音乐戏剧《特里斯坦与伊索尔德》。1937年指挥了柏林爱乐乐团演出。他有超强的记忆力，指挥时可以完全背谱，并喜欢闭眼指挥，其中包括指挥瓦格纳的全套歌剧《尼伯龙根的指环》。第二次世界大战期间他一直在柏林指挥。1933年5月，他在乌尔姆加入德国纳粹党。战后被盟国占领军审查并被禁止指挥演出，直到1946年才被允许重新指挥。此后他与英国哥伦比亚唱片公司和维也纳爱乐乐团合作录制唱片。1948年应邀担任维也纳音乐之友协会艺术指导，还被任命为维也纳交响乐团音乐指导。1951年他在拜罗伊特音乐节上指挥了全套歌剧《尼伯龙根的指环》，并大胆改变了瓦格纳规定的乐队座位排列方式。1952年他在拜罗伊特指挥了《特里斯坦与伊索尔德》的新演出本。此后还应聘担任伦敦爱乐乐团音乐指导。1954年W.富特文格勒去世以后，他接任柏林爱乐乐团首席指挥。

卡拉扬是一位能力极高的指挥家，无论对歌剧或是音乐会演出都是如此。他指挥曲目广泛，有人甚至把他的时代称为“卡拉扬时代”，可见其影响之大。但也有评论认为他过于追求效果、表现外在。1979年曾率柏林爱乐乐团来中国演出。

H.von卡拉扬在排练