进入这一群体的乐人大致有3种类型：刑事犯罪人员的家眷；阵获俘虏；因政治获罪的罪臣、罪吏及其被籍没的眷属。从文献记载看，乐户源于北魏时期。《魏书·刑罚志》云：“孝昌已后，天下淆乱，法令不恒，或宽或猛。及尔朱擅权，轻重肆意，在官者，多以深酷为能。至迁邺，京畿群盗颇起。有司奏立严制：诸强盗杀人者，首从皆斩，妻子同籍，配为乐户；其不杀人，及赃不满五匹，魁首斩，从者死，妻子亦为乐户。”孔颖达《春秋左传正义·襄公二十三年》云：“近世魏律，缘坐配没工乐杂户者，皆用赤纸为籍，其卷以铅为轴。”以上是目前所能见到的最早有关乐户的文献记载，但是从其他文献互证，乐户的源起比孝昌时期（525～527）要早。

管理乐户的户籍制度为乐籍制度。在乐籍制度下，这些乐人在宫廷、地方官府、军旅，甚至在寺庙中执事应差，其职能涵盖社会生活中礼俗用乐的诸多层面。

历史上乐籍制度总体说来有相当的一致性，但宽松度有所不同。南北朝时期为乐籍制度的肇始阶段；唐代是这种制度的完善时期，逐渐形成体系化；宋代对待乐籍的政策最为宽松，以致后人多以为这一时期的乐户已经不是贱民群体，但实际上仍然是在籍的乐人。蒙元时代的典籍中对这一群体身份的认证比较明确，关汉卿在《金线池》中说：“乐户们一经责罚过了，便是受罪之人，做不得大人的妻妾。”由此说来，元代乐户依然是罪民。明代是有乐户群体以来最为黑暗的“畸变”时期，统治者将乐籍制度用于政治斗争，将乐籍制度的惩罚性的职能凸显，因政治获罪群体而被籍没者的数量大增，许多高官显贵成为政治斗争的牺牲品，全国范围内的罪臣罪吏不分南北，俱发北边，其全家全族被迫入乐籍。乐籍中女乐已经成为“妓女”的同义语。这些人一旦被没入乐籍，除了在宫廷中执事应差者能够得到皇帝的恩赐而在一定的年龄脱籍外，多数是“终身继代，不改其业”。这些人生不进祠堂，死不进祖坟，当色为婚。民间也有对这一群体十分不恭的话，所谓“王八戏子吹鼓手，下九流中的下九流”即是指这一特殊的群体。

这些乐籍中人在宫廷、王府、地方官府、军旅、寺院中称谓有所不同，除乐户外，在不同历史时期尚有工乐、营乐、音声人、乐人、女乐等。管理这一群体的机构则有太常寺、教坊、乐营、钧容直等。地方官府的乐户归六房中的“礼房”管辖，由乐户中人的“科头”家负责召集，一旦官府中需要，便聚集起来执事应差。地方官府中的乐户除了应付衙门中的礼俗音乐外，在不执事应差时，也会受雇于民间的各种风俗节令、婚丧嫁娶的吹打。除此以外，他们还兼营剃头、伴娘等行当。

这一群体在地方上受各级官府管辖，他们有相对严密的组织。服务于各种庆典仪礼、祭祀、筵宴等多种场合。在许多民俗活动中，这一群体也是主要角色，诸如驱傩仪礼、迎神赛社等；民间的多种仪礼，诸如婚丧嫁娶等也是这一群体的活动舞台。

由于这种制度的不人道，历史上统治者也曾经数次要将乐籍制度革除，但均未成功，直至清雍正元年（1723）方被禁除。《世宗圣训》卷六载：“朕以移风易俗为心，凡习俗相沿，不能振拔者，咸与以自新之路，如山西之乐户，浙江之惰民，皆除其贱籍，使为良民，所以励廉耻而广风化也。”从除籍后的实际情况来看，虽然官府已经禁除了乐籍，但乐人们多数依然从事与“乐”相关的职业，由这一群体传承的音乐文化依然延续。

由这一群体所传承下来的中国传统音乐文化是一笔优秀的民族文化遗产。乐人们创承着中国传统音乐文化的主导脉络，是因为这一制度的严密统一性所决定的。在唐代，从各地的乐人中选拔10岁左右的儿童进宫廷轮值轮训，每年训练和执事应差的时间视距京城的远近为4～6个月不等，15年之内经过严格的培训与考试，得以不断进阶，他们要学会50首以上的“难曲”，这是在宫廷和各级官府执事应差的必要条件，业成者授太常博士和散官。地方官府中的乐籍人员则由在宫廷中经过轮训者教授。宋代在汴梁（今河南开封）、东平（今山东泰安东平县）等多个地点设立教乐所，对乐籍中人进行专业培训，要求“男记四十大曲，女记小令三千”。这些乐曲从宫廷到地方官府有着相当程度的一致性，在体现音乐文化中心特征的律、调、谱、器、曲等多方面保持一致，其后的时代亦如此。可以说，自有乐户这一专业乐人群体以来，所有与主流音乐文化相关的音乐形式的创造和传承，都与这一群体有着直接和间接的关联。