作为一种特殊的视频编码技术，可扩展视频编码的可扩展性主要体现在码率可扩展上。具体而言，可以实现在时间，空间，质量上的可扩展，输出多层码流（包括一个基本层和多个增强层）。其中基本层的数据可以使解码器完全正常的解码出基本视频内容，但是基本层的数据获得的视频图像可能帧率较低，分辨率较低，或者质量较低。在信道受限或信道环境复杂时，可扩展视频编码的基本层码流可以保证解码端能够接收到可以观看的流畅视频图像。当信道环境良好或信道资源丰富时，可以进一步传递增强层数据，以提高帧率，分辨率，或者视频质量。由于增强层可以有多层，因此在视频码流总码率的一定的情况下，接收到的码率越大，视频质量越好。

相对于原来的视频编码标准，一次编码后的视频码流就固定了，对于不同的终端应用，需要对同一内容多次编码，可扩展视频编码有效的解决了之前编码标准输出码流的不灵活性，一次编码，可以适应多种不同信道。