由于当视点数目大于4时，多视点图像之间并不增加新的几何约束。因此多视几何理论主要研究两视点、三视点和四视点下的图像间几何关系，尤其是两视点下的图像间几何关系。

两视点几何，即两个视点下的图像间几何关系，主要包含了两幅图像中图像点与极线之间以及图像对应点之间的关联关系。这种关联关系可以由基本矩阵来代数表示。基本矩阵是一个秩为2且自由度为7的3×3矩阵。在一般情况下，可以由7对图像对应点非线性地确定，也可以由8对或更多对图像对应点线性地确定。在射影意义下，由基本矩阵可以恢复两幅图像所对应的摄像机矩阵。

三视点几何主要包含了三幅图像间的点对应、线对应和点线对应之间的关联关系。这种关联关系可以由三焦张量表示，而三焦张量是空间射影变换的不变量。在射影意义下，由三焦张量可以恢复三幅图像所对应的摄像机矩阵。三视点几何的基本原理同样可适用于四视点几何的分析与计算。