结构风险（Structure Risk）用于描述模型的某些性质，而经验风险（Empirical Risk）用于描述模型与训练数据的契合程度。例如支持向量机、对率回归等学习模型的目标函数都可以写成如下式的一般形式：

其中为学习模型，为损失函数，第一项对应为结构风险，第二项对应为定义在m个训练样本上的经验风险。从经验风险最小化的角度来看，结构风险惩罚项描述了我们希望获得具有何种性质的模型（例如希望获得复杂度较小的模型）。这为引入领域知识和用户意图提供了途径。另一方面，该信息有助于削减假设空间，从而降低了最小化训练误差的过拟合风险。从这个角度来看，上式又称为正则化（Regularization）问题，第一项称为正则化项，C则称为正则化常数。范数是常用的正则化项，例如L2范数倾向于w的分量取值尽量均衡，即非零分量个数尽量稠密，而L0范数和L1范数则倾向于w的分量尽量稀疏，即非零分量个数尽可能少。