始置于唐末，五代、宋、辽、金、元、明诸朝皆有设置，但在不同历史时期职能不尽相同。《资治通鉴》卷二五四载，僖宗广明元年（880），汝郑把截制置都指挥使齐克让奏黄巢自称天补大将军。这是较早出现的关于都指挥使的记载。此后，在中央禁军与藩镇军队中都出现这一使职，为重要的领兵将领。

两宋时期沿袭五代之制，在中央禁军的侍卫亲军、殿前军等不同层级编制皆有都指挥使。曾公亮《武经总要·前集》卷一《军制》：“每军立都指挥使、都虞候，则古之师帅之任也。每军、每厢、每第立都指挥使，则古之军将之任也。”辽、金皆置侍卫亲军马步都指挥使司，置都指挥使以领之。金代京城有武卫军都指挥使司，掌京师巡捕。诸总都管府、节镇兵马司置都指挥使一员，“巡捕盗贼，提控禁夜，纠察诸博徒，屠宰牛马，总判司事”。这些都指挥使略相当于治安长官。元代置侍卫亲军各卫指挥使司，各军都指挥使司设都指挥使、副都指挥使等官。

元八思巴篆文“宗仁蒙古侍卫亲军都指挥使司百户印”

明代推行卫所制度，以都指挥使司主掌省一级的军政，简称都司。洪武二十六年（1393），全国共有17个都司，1个留守司，其后沿革、废置不一。都指挥使为都司长官，其下有都指挥同知、都指挥佥事等官。都指挥使司下设卫指挥使司、千户所、百户所。在东北、西北、西南少数民族地区也设置羁縻性质的都司卫所，如奴儿干都司、乌斯藏都司、朵甘都司等。亦置都指挥使等官，由当地部落首领担任，可以世袭，但须接受朝廷节制。