又称恒星动力学或恒星系统动力学。这里所说的恒星系统包括星团、星系和星系团等,是由引力束缚在一起的恒星、星际气体和尘埃(以及暗物质)所组成的体系,星团含有100~100万颗恒星,星系含有1000万~1万亿颗恒星。除某些系统中心黑洞附近需要考虑相对论效应外,这些系统的行为一般由牛顿运动定律和牛顿引力定律支配。星系动力学至少同物理学的其他三个分支直接相关。星系动力学同天体力学的关系最为密切,因为两者都涉及引力势中轨道的研究;不过天体力学的许多数学方法不能用于星系动力学,因为天体力学基于质量、偏心率、倾角等参数的摄动展开,在用于后者时不收敛。星系动力学与经典统计物理学有深刻联系,因为两者都涉及大量粒子组成的系统,必须进行统计处理。星系动力学同等离子体物理学也彼此借鉴研究方法,因为它们研究的都是通过长程力作用的大量粒子集合,不同的是有正负电荷而无负质量。
星系动力学中最基本的两个物理量是分布函数和引力势函数。前者是位置、速度和时间的函数,后者是位置和时间的函数。它们满足无碰撞玻耳兹曼方程和泊松方程。泊松方程来自牛顿引力定律,而无碰撞玻耳兹曼方程则是相空间密度不变的刘维尔定理的推论。将无碰撞玻耳兹曼方程对速度空间积分得到连续性方程,乘以速度再对速度空间积分,所得出的方程类似于流体力学中的欧拉方程,因1919年由J.H.金斯首先应用于星系动力学,故称为金斯方程。星系动力学就是要在一定的近似假设(如球对称或轴对称条件)下求解上述方程,并研究这样的解是否能够保持稳定。1927年,B.林德布拉德求得了速度椭球与奥尔特常数之间的关系。1928年,J.H.奥尔特在分布函数服从速度椭球分布律的假设下,解出轴对称星系的分布函数,成功地解释了银河系的较差自转现象。1940年后,林德布拉德提出密度波的概念来解释旋涡星系旋臂的存在,1964年,林家翘和徐遐生等完成了准稳旋涡的密度波理论,导出了密度波的色散关系,成功地解释了大量观测事实。
星系之间的相互作用会引起潮汐摩擦、剥离、并合等丰富的动力学效应,已得到大量观测资料的证实。由于这类情形往往缺乏对称性,难于用解析方法处理,所以自1970年以来发展了计算机数值模拟,从而大大推动了星系动力学演化研究的进展。