典型相关分析的目的是发现不同维度的两组或多组数据集之间的相关性,也常用于寻找异质数据之间的共同低维子空间。两者均需要利用两个或多个线性算子来实现异质维度下相关性的计算。而低维子空间则可以通过这些线性算子或投影矩阵来获得。当异质数据通过不同投影矩阵投影至该子空间后,可以更有效地利用异质数据,实现比仅用一组数据时更高的预测性能。
从严格意义来讲,典型相关分析常假定存在两个随机变量向量和
。如果它们是相关的,则典型相关分析的目标是找出
和
间相关程度最大的线性组合。考虑到皮尔逊相关系数的公式为:
式中向量为
的线性组合,
为
的线性组合,而
表示变量自身的方差或变量间的协方差。
如果对相关系数再做进一步约束,就得到了典型相关分析的优化目标函数:
最大化:;
服从约束:和
;
对上式进行拉格朗日乘子优化后,即可以形成如下式的闭式解方程:
并按广义特征值方程求解方式,求出两个向量和
的主要投影矩阵
和
。
典型相关分析最早由美国统计学家H.霍特林(Harold Hotelling,1895-09-29~1973-12-26)于1936年提出。1978年T.R.克纳普[注](T.R.Knapp)则正式将两组变量之间关系的一般步骤命名为典型相关分析。而后,在此方向上发展了一系列的研究成果,包括:在线性代数框架下基于广义特征值分解的典型相关分析,以及在统计学习盛行期间通过引入核函数、核技巧,在非线性意义下的核典型相关分析。另外,核维数约简(维数约简又称降维)考虑了保持两个异质数据的各自投影为线性变换,同时两个变量集之间的相关性则通过非线性映射来实现。其相关性的判定准则也从最初的相关性定义转变为希尔伯特-施密特独立准则(Hilbert-Schmidt independence criterion,HSIC),即通过最大化相关性来寻找变量间的独立性。