原为北方游牧民族的马上之乐，汉代时传至中原，后来成为主要服务于宫廷的乐种之一，用于随军、奖励边将。

横吹乐所用乐器、乐队形式、用途和鼓吹乐同出一族，后逐渐分道扬镳。宋代敦茂倩《乐府诗集》曰：“横吹曲，其始亦谓之鼓吹，马上奏之，盖军中之乐也。北狄诸国，皆马上作乐，故自汉以来，北狄乐总归鼓吹署。其后分为两部，有箫笳者为鼓吹，用之朝会、道路，亦以给赐……有鼓角者为横吹，用之军中，马上所奏者是也。”《晋书·乐志》载：“胡角者，本以应胡笳之声，后渐用之横吹，有双角，即胡乐也。”从文献记载看“横吹”晚于鼓吹，一般认为始于汉武帝。鼓吹用箫、笳，横吹用鼓、角，使用乐器不同，场合也有别。宫廷中保存下来的横吹乐主要用于礼仪。横吹乐的主奏乐曲，相传是由李延年根据张骞出使西域带回的西域乐曲《摩诃兜勒》而创作的28首武乐。晋崔豹《古今注》说：“横吹乐，胡乐也，张博望入西域，传其法于西京，唯得《摩诃兜勒》一曲，李延年因胡曲，更造新声二十八解，乘舆以为武乐。后汉以给边将军。和帝时，万人将军得用之。”据唐人吴兢《乐府解题》（《乐府诗集》引）记载，魏晋以后仅存十曲：“汉横吹曲，二十八解，李延年造。魏晋以来，唯传十曲：一曰《黄鹤》，二曰《陇头》，三曰《出关》，四曰《入关》，五曰《出塞》，六曰《入塞》，七曰《折杨柳》，八曰《黄覃子》，九曰《赤之扬》，十曰《望行人》。”《晋书·乐志》中也有与上述相同的记载。汉代的横吹乐并不完全限于宫廷，一些乐曲流入民间，成为民间音乐的组成部分。