一般来说，视频的最终接收端是人眼视觉系统。因此，可以结合人眼的视觉特性，并将其运用于编码、处理的过程中，最终提升视频编码的效率。通常来说，并不是所有的视频失真都可以被人眼所察觉，且人眼对视频失真的感知和观看者的观看环境十分相关。因此，可以对基于人眼视觉系统的“恰可察觉失真”进行估计，从而使得编码器所产生的视频失真都在恰可失真度量范围内，且编码产生的码率最小，以达到最优的“视觉无损”编码。同时，基于人眼视觉系统的非均匀性的特点，传统的图像失真度量方式如均方误差等并不能和人眼视觉系统达到很好的吻合程度。研究表明，人眼对图像的结构性失真尤为敏感。因此，如何根据人眼对图像的失真感知的非均匀性，进行最优的码率分配和编码决策，亦是人眼视觉特性在视频编码中的重要应用。综上所述，基于视觉特性的视频编码对消除视频的视觉冗余，进一步提升视频编码效率尤为关键。在突破传统框架，发展新型编码算法的过程中，基于视觉的视频编码算法也将会发挥越来越重要的作用。