首页 . 理学 . 化学 . 分析化学 . 化学计量学 . 分析化学信息化 . 最小二乘原理

交替最小二乘原理

/alternating least-squares principle; ALS/
条目作者吴海龙

吴海龙

最后更新 2023-06-01
浏览 179
最后更新 2023-06-01
浏览 179
0 意见反馈 条目引用

用于基于矩阵分解系统中的分析方法。

英文名称
alternating least-squares principle; ALS
所属学科
化学

交替最小二乘法缩写为ALS,而加权正则化交替最小二乘法表示为ALS-WR(alternating least-squares with weighted-λ-regularization)。由于量测数据中有时有缺失项,传统的矩阵分解SVD(奇异值分解)不方便处理这个问题,而交替最小二乘法能够很好地解决这个问题。对于的矩阵,交替最小二乘法旨在找到两个低维矩阵和矩阵,来近似逼近,即:

…(1)

式中为响应矩阵;为样本对隐含特征的偏好矩阵;为变量所包含隐含特征的矩阵;为矩阵的转置。实际中,一般取,也就是相当于降维了。这里的低维矩阵,有的地方也称为低秩矩阵。

为了找到使低秩矩阵尽可能地逼近,需要最小化下面的平方误差损失函数:

…(2)

式中为样本的偏好的隐含特征向量;为变量包含的隐含特征向量;表示样本对变量的响应;向量的内积是样本对变量响应的近似。

损失函数一般需要加入正则化项来避免过拟合等问题,使用L2正则化,所以上面的公式改造为:

…(3)

式中为正则化项的系数。

协同过滤就成功转化成了一个优化问题。由于变量耦合到一起,这个问题并不好求解,所以我们引入了交替最小二乘法,也就是说我们可以先固定(例如随机初始化),然后利用公式(3)先求解,然后固定,再求解,如此交替往复直至收敛,即所谓的交替最小二乘法求解法。

具体求解方法说明如下:

先固定,将损失函数求偏导,并令导数为0,得到:

…(4)

同理固定,可得:

…(5)

式中的第行;的第列;的单位矩阵。

迭代步骤:首先随机初始化,利用公式(4)更新得到,然后利用公式(5)更新,直到均方根误差变RMSE化很小或者到达最大迭代次数,其中:

…(6)

上文提到的模型适用于解决响应矩阵的一般应用场景。

而ALS-WR通过置信度权重来解决响应权重不同问题:对于更确信样本赋以较大的权重,对于响应不明显的项,赋以较小的权重。ALS-WR模型的形式化说明如下:

ALS-WR的目标函数:

  …(7)

…(8)

…(9)

式中为置信度系数。

求解方式还是最小二乘法:


式中的对角矩阵;的对角矩阵;

在化学计量学领域,利用交替最小二乘原理,借助计算机工具及高级编程语言MATLAB等,已独自发展了重要的多元曲线分辨(MCR-ALS)、平行因子分析(PARAFAC-ALS)、交替三线性分解(ATLD-ALS)等算法,在复杂体系定性定量分析中已展现巨大应用潜力。

  • 魏木生.广义最小二乘问题的理论和计算.北京:科学出版社,2006.
  • 戈培林.化学计量学实用指南.吴海龙,康超,等译.北京:科学出版社,2012.
  • 吴海龙,俞汝勤.化学多维校正的若干新进展.化学通报,2011,74(9):771-782.

相关条目

阅读历史

    意见反馈

    提 交

    感谢您的反馈

    我们会尽快处理您的反馈!
    您可以进入个人中心的反馈栏目查看反馈详情。
    谢谢!