通常，视频信号具有较大的原始数据量。常见的原始视频数据以YUV分量格式进行存储，YUV分别代表亮度与两个色差信号。例如对于现有的PAL制电视系统，其亮度信号采样频率为13.5MHz；色度信号的频带通常为亮度信号的一半或更少，为6.75MHz或3.375MHz。以4：2：2的采样频率为例，Y信号采用13.5MHz，色度信号U和V采用6.75MHz采样，采样信号以8bit量化，则可以计算出数字视频的码率为：13.5×8+6.75×8+6.75×8=216Mbit/s。

如此大的数据量如果直接进行存储或传输将会遇到很大困难，因此必须采用视频编码技术对原始视频进行压缩，从而减少码率。

字化后的视频信号能进行压缩主要依据两个基本条件：其一是原始视频信号本身存在数据冗余。例如空间冗余、时间冗余、结构冗余、信息熵冗余等，即图像的各像素之间存在着很强的相关性。消除这些冗余并不会导致信息损失，这种视频编码技术属于无损压缩。其二是原始视频信号本身还存在视觉冗余。人眼的一些特性比如亮度辨别阈值，视觉阈值，对亮度和色度的敏感度不同，使得在编码的时候引入适量的误差，也不会被察觉出来。可以利用人眼的视觉特性，以一定的客观失真换取数据压缩。这种视频编码技术属于有损压缩。视频编码正是基于上述两种条件，使得原始视频数据量得以极大的压缩，有利于传输和存储。

一般的数字视频编码方法都是混合编码，也就是通过变换编码、运动估计和运动补偿、熵编码这三种方式相结合来进行压缩编码。“变换编码+运动估计和运动补偿+熵编码”的视频编码模型已经普遍应用于视频编码的国际标准MPEG1，MPEG2，H.264等。通常使用变换编码来消去除视频每帧图像的帧内冗余，用运动估计和运动补偿来去除视频每帧图像之间的帧间冗余，用熵编码来进一步提高压缩的效率。

变换编码的作用是将空间域描述的图像信号变换到频率域，然后对变换后的系数进行编码处理。一般来说，图像在空间上具有较强的相关性，变换到频率域可以实现去相关和能量集中。常用的正交变换有离散傅里叶变换，离散余弦变换等等。数字视频压缩过程中应用广泛的是离散余弦变换（DCT变换）。通常情况下，原始的图像块中各个像素亮度值比较均匀，特别是相邻像素亮度值变化不是很大，说明图像信号具有很强的相关性。经过DCT变换后，可以得到与图像块大小相同的系数块，位于系数块左上角的是低频系数，集中了大量能量，而系数块右下角的高频系数上的能量很小。接下来需要对这些变换后所得的DCT系数进行量化。由于人的眼睛对图像的低频特性比如物体的总体亮度之类的信息很敏感，而对图像中的高频细节信息不敏感，因此在传送过程中可以少传或不传送高频信息，只传送低频部分。量化过程通过对低频区的系数进行细量化，高频区的系数进行粗量化，去除了人眼不敏感的高频信息，从而降低信息传送量。

运动估计和运动补偿是消除视频序列时间方向相关性的有效手段。上述介绍的DCT变换是在一帧图像的基础上进行，可以消除图像内部各像素间在空间上的相关性。实际上图像信号除了空间上的相关性之外，还有时间上的相关性。例如某些背景相对静止，画面主体运动较小的数字视频，每一幅画面之间的区别很小，画面之间的相关性很大。对于这种情况我们没有必要对每一帧图像单独进行编码，而是可以只对相邻视频帧中变化的部分进行编码，从而进一步减小数据量，这方面的工作是由运动估计和运动补偿来实现的。

熵编码是因编码后的平均码长接近信源熵值而得名。熵编码多用可变字长编码（VLC，Variable Length Coding）实现。其基本原理是对信源中出现概率大的符号赋予短码，对于出现概率小的符号赋予长码，从而在统计上获得较短的平均码长。可变字长编码通常有霍夫曼编码、算术编码、游程编码等。