一个核函数的结果

  1. 5周前

    小当

    1楼 1月16日 数学版主

    简单介绍一下最近用到一些核函数的结果。

    称$n\times n$阶对称方阵$A$半正定,如果对任意的$n$维向量$\alpha$,有$\alpha^T A\alpha\geq 0$。称定义在$\Omega\times\Omega\subset \mathbb{R}^d\times\mathbb{R}^d$上的二元函数$H(\cdot,\cdot)$对称半正定,如果$H$对称且对任意的$n\geq 1$以及$\{x_1,\ldots x_n\}\subset \Omega$,矩阵$K:=(H(x_j,x_k))_{jk}$是半正定的。

    在很多情况下,我们希望二元函数$H$是由一个一元函数$\Phi$诱导产生的,具体来说$H(x_j,x_k)=\Phi(x_j-x_k)$,其中$\Phi$是定义在$\mathbb{R}^d$上的函数。我们称这样的$\Phi$为半正定核函数。这样的表示在随机过程中有很强的背景,其中$H$为一个随机过程的相关函数,如果$H$可以用$\Phi$表示,则这个随机过程是平稳的,并称$\Phi(\cdot)/\Phi(0)$为自相关函数。

    反过来,如果先给定一个$\Phi$,我们也能定义$H(x_j,x_k)=\Phi(x_j-x_k)$,问题是在何种条件下,这样定义的$H$满足对称半正定性呢?

    在此需要说明,此行以上的所有讨论中我们只在实数域上讨论。因为大多数具有实际意义的问题都发生在实数域上。从数学角度上讲,如果要考虑复数矩阵,则上面的对称矩阵需要改变为厄米特矩阵。

    出于使用价值的考量,我们这里不去讨论最一般的$\Phi$,而是限定$\Phi$要满足一些良好的正则性条件。具体来说,我们要求$\Phi$可积,并且$\Phi$可以被它的傅里叶变换$\hat{\Phi}$通过反变换公式恢复。

    直观上似乎很难想象正定性和傅里叶变换有什么联系,然而实际上它们的联系是非常紧密的。

    首先由于二元函数$H$是对称的,因此$\Phi$必然是个偶函数,因此$\Phi$的傅里叶变换$\hat{\Phi}$是实函数。

    为了研究矩阵$K$是否正定,我们考虑二次型$\alpha^T K\alpha$。使用求和的形式展开,它等于
    $$\sum_{j=1}^n\sum_{k=1}^n \alpha_j\alpha_k \Phi(x_j-x_k). $$
    现在我们使用傅里叶反变换公式
    $$\Phi(x_j-x_k)=\int_{\mathbb{R}^d} \hat{\Phi}(\omega) e^{i (x_j-x_k)^T\omega} d\omega. $$
    把上述两式组合在一起得到
    \[\int_{\mathbb{R}^d} \sum_{j=1}^n\sum_{k=1}^n \alpha_j\alpha_k e^{i (x_j-x_k)^T \omega} \hat{\Phi}(\omega) d\omega=\int_{\mathbb{R}^d} \sum_{j=1}^n\sum_{k=1}^n \alpha_j\alpha_k e^{i x_j^T \omega}e^{-i x_j^T\omega} \hat{\Phi}(\omega) d\omega.\]
    接下来就是见证奇迹的时刻了。利用共轭复数的定义,$e^{-i x_j^T\omega}=\overline{e^{i x_j^T\omega}}$,同时由于$\alpha_j$们都是实数,所以有$\alpha_j=\overline{\alpha_j}$。于是上面的式子可以改写成
    \[\int_{\mathbb{R}^d} \sum_{j=1}^n\sum_{k=1}^n \alpha_j e^{i x_j^T \omega}\overline{\alpha_k e^{i x_j^T\omega}} \hat{\Phi}(\omega) d\omega=\int_{\mathbb{R}^d} \left|\sum_{j=1}^n \alpha_j e^{i x_j^T \omega}\right|^2 \hat{\Phi}(\omega) d\omega.\]
    因为$\left|\sum_{j=1}^n \alpha_j e^{i x_j^T \omega}\right|^2$必然非负,所以只要$\hat{\Phi}(\omega)$非负,整个积分必然非负,这就说明矩阵$K$是半正定的。

    反过来的结论也成立,如果$\Phi$半正定,说明所有的$K$都是半正定的,因为三角多项式$\sum_{j=1}^n \alpha_j e^{i x_j^T \omega}$可以在有限区域上逼近任何连续函数,通过一定的分析技巧可以证明,只要$\hat{\Phi}$在一个Lebesgue测度为正的集合上取负值,就可以得到矛盾。

    上面的结果非常有名,称为Bochner定理。用这个定理可以非常容易的判定一个核函数是否正定,例如$e^{-x^2}$就是一个正定的核函数,用线性代数的记法则是
    \[\sum_{j=1}^n\sum_{k=1}^n \alpha_j\alpha_k e^{-(x_j-x_k)^2}\geq 0.\]
    这个结果如果要用初等数学的方法证明恐怕是非常困难的。

    我最近反复用到的结论是一个类似的结果,假设有两个正定核函数,分别记为$\Phi$和$\Psi$,对固定的点$\{x_1,\ldots,x_n\}$,令$K_1=(\Phi(x_j-x_k))_{jk}, K_2=(\Psi(x_j-x_k))_{ij}$。如果对$c>0$有$\hat{\Phi}\leq c\hat{\Psi}$,则有$K_1\leq c K_2$,即$c K_2-K_1$半正定。这个结果用类似的方法很容易证明。

 

后才能发言