交替最小二乘法缩写为ALS,而加权正则化交替最小二乘法表示为ALS-WR(alternating least-squares with weighted-λ-regularization)。由于量测数据中有时有缺失项,传统的矩阵分解SVD(奇异值分解)不方便处理这个问题,而交替最小二乘法能够很好地解决这个问题。对于的矩阵,交替最小二乘法旨在找到两个低维矩阵
和矩阵
,来近似逼近
,即:
…(1)
式中为响应矩阵;
为样本对隐含特征的偏好矩阵;
为变量所包含隐含特征的矩阵;
为矩阵
的转置。实际中,一般取
,也就是相当于降维了。这里的低维矩阵,有的地方也称为低秩矩阵。
为了找到使低秩矩阵和
尽可能地逼近
,需要最小化下面的平方误差损失函数:
…(2)
式中为样本
的偏好的隐含特征向量;
为变量
包含的隐含特征向量;
表示样本
对变量
的响应;向量
和
的内积
是样本
对变量
响应的近似。
损失函数一般需要加入正则化项来避免过拟合等问题,使用L2正则化,所以上面的公式改造为:
…(3)
式中为正则化项的系数。
协同过滤就成功转化成了一个优化问题。由于变量和
耦合到一起,这个问题并不好求解,所以我们引入了交替最小二乘法,也就是说我们可以先固定
(例如随机初始化
),然后利用公式(3)先求解
,然后固定
,再求解
,如此交替往复直至收敛,即所谓的交替最小二乘法求解法。
具体求解方法说明如下:
先固定,将损失函数
对
求偏导,并令导数为0,得到:
…(4)
同理固定,可得:
…(5)
式中为
的第
行;
为
的第
列;
为
的单位矩阵。
迭代步骤:首先随机初始化,利用公式(4)更新得到
,然后利用公式(5)更新
,直到均方根误差变RMSE化很小或者到达最大迭代次数,其中:
…(6)
上文提到的模型适用于解决响应矩阵的一般应用场景。
而ALS-WR通过置信度权重来解决响应权重不同问题:对于更确信样本赋以较大的权重,对于响应不明显的项,赋以较小的权重。ALS-WR模型的形式化说明如下:
ALS-WR的目标函数:
…(7)
…(8)
…(9)
式中为置信度系数。
求解方式还是最小二乘法:
式中为
的对角矩阵;
为
的对角矩阵;
。
在化学计量学领域,利用交替最小二乘原理,借助计算机工具及高级编程语言MATLAB等,已独自发展了重要的多元曲线分辨(MCR-ALS)、平行因子分析(PARAFAC-ALS)、交替三线性分解(ATLD-ALS)等算法,在复杂体系定性定量分析中已展现巨大应用潜力。