尺度不变特征变换通过求一幅图中的特征点，并对每个特征点计算其有关大小和方向的描述子得到特征，最终将特征应用于图像特征点匹配。

为了实现尺度不变性，即改变旋转角度，图像亮度或拍摄视角不影响算法结果，此算法首先对尺度空间进行了构建，用以模拟图像数据的多尺度特征。在尺度空间的建立中，为了有效的在尺度空间检测到稳定的关键点，此算法提出了高斯差分尺度（DOG）空间的概念，并利用不同尺度的高斯差分核与图像卷积生成该空间。在建立的尺度空间基础上，此算法提取极值点作为其特征点。一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，该点则被认定为该图像在该尺度下的一个特征点。为了提高算法稳定性，此算法还通过拟和三维二次函数以精确确定关键点的位置和尺度（达到亚像素精度），同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力。最后，对于上一步中确定了每幅图中的特征点，为每个特征点计算一个方向，依照这个方向做进一步的计算，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性，并且依据特征点周围领域信息生成了128维的向量对特征点进行描述。