直方图的英文histogram，源自希腊语histos（竖立，如船的桅杆）和希腊语gramma（描绘、记录）。1895年英国统计学家C.皮尔逊创立了本术语。

设有观测数据（即样本值）x₁，x₂，…x_n，为了认识数据的波动规律，将数据适当地分成若干区间或组，计算出每个组的数据出现的频数，可得到分组频数表。在横坐标上标出分组的点，纵坐标为对应频数，以子区间为底边画出高度为频数的图形在统计上即为直方图，又称为频数分布直方图。如果纵坐标不取频数而取频率，就得到频率直方图，利用它可大致画出分布密度曲线。若增大试验次数，把组分得越来越细，则频率直方图的形状逐渐接近某一曲线，即作为频率分布的极限可表示为光滑曲线，这条曲线排除了抽样和测量的误差，反映数据波动的规律。

图像直方图（image histogram）是用来表示数字图像中亮度分布的直方图，标绘了图像中每个亮度值的像元数。可以借助观察该直方图了解需要如何调整亮度分布。图像直方图中，左侧为纯黑、较暗的区域，而右侧为较亮、纯白的区域。因此，一幅较暗图像的直方图，其数据多集中于左侧和中间部分；而整体明亮、只有少量阴影的图像则相反。

在数字图像处理中，直方图是经常使用的工具之一，许多图像处理方法都建立在对图像的亮度——频数直方图或其他直方图的理解或修改的基础之上。例如对一图像进行分割时需要以直方图为根据，对直方图进行平滑、拉伸、均衡、规格化或其他调整常常有助于改善图像质量。