该标准没有定义编码器，而是定义了编码器应该产生的输出结构。视频压缩标准通常定义一个工具包或一套压缩工具。不是所有的工具包都需要实现来创建一个标准的兼容比特流。但是，符合标准的解码器必须实现工具箱的一些子集，即标准规定的基本编码工具集。视频标准化使来自不同制造商的编码器和解码器能够在各种应用中协同工作。为了提供最大的灵活性和鼓励创新，标准并没有包含所有的在解码过程中涉及的问题，为不同厂商提供了编解码器优化的空间。对于视频编解码系统的开发者，公布的标准是为他们确定了视频编解码器必须符合的功能，使他们便于与其他视频编解码器进行交互。

视频压缩标准开始于20世纪90年代初期，主要由国际标准化组织（ISO）和国际电信联盟（ITU）两个标准化机构组织并制定了一系列视频压缩标准。其中，ISO中的运动图像专家组（MPEG）制定的压缩标准包括MPEG-1，MPEG-2和MPEG-4，ITU中的视频编码专家组（VCEG）已经发布的视频压缩标准包括H.261，H.262，H.263和H.263+的H.26x系列。MPEG和VCEG在1994组成联合视频编码组（Joint Video Team,JVT），并于2001-2003年共同开发了H.264/MPEG-4AVC,于2010年再次合作成立Joint Collaborative Team on Video Coding（JCT-VC）并开发了新一代视频压缩标准H.265/HEVC.

中国的视频压缩标准化工作开始于2002年，由国家信息产业部科学技术司批准成立了AVS工作组，即数字音视频编解码技术标准工作组。AVS工作组联合国内企业和科研机构相继制定了AVS-1和AVS-2视频压缩标准，为中国数字音视频设备与系统提供了高效经济的编解码技术。

除了上述标准化组织外，一些公司也提出了自己的视频压缩格式，其中比较著名的包含微软公司的提出的WMV系列，RealNetworks公司提出的RealVideo视频文件格式，Google公司研发的面向互联网视频应用的视频压缩格式VP8和VP9，以及由Apple公司开发的QuickTime多媒体架构，包含处理数字视频、媒体段落、音效、文字、动画、音乐格式，以及交互式全景视频等多种类型。

视频压缩标准广泛地采用了基于时空预测和变换的混合视频编码框架，1992年颁布的MPEG-1视频压缩标准采用了8×8块的运动补偿预测和8×8DCT变换来降低视频信号的时空冗余，该标准广泛应用于数字卫星/有线电视服务，并被VCD采用。在MPEG-1的基础上，1994年颁布的MPEG-2视频压缩标准进一步支持隔行扫描视频格式，并设计了相关的帧/场自适应的运动补偿预测和DCT变换，从而有效的提高了压缩效率。2003年颁布的H.264/AVC相比之前的视频压缩标准采用了更灵活和更精细的预测，支持多达9种帧内预测模式，7种帧间预测块的划分，以及1/4像素精度的运动补偿和多参考帧预测，并引入了环路滤波技术。在相同画质下，H.264/AVC相比MPEG-2视频压缩效率大约提高了1倍。2013年新一代视频压缩标准H.265/HEVC在H.264/AVC的基础上进一步将编码效率提高了1倍，可以支持4K分辨率甚至超高清电视，该标准延续了之前标准的技术路线，通过增大最大编码单元(64×64)，增加编码单元和预测单元划分类型有效的提高了视频压缩效率，此外，该标准用基于上下文的自适应二进制算术编码取代了之前标准中广泛使用的基于上下文的自适应变长编码。