Weierstrass逼近定理在回归分析建模中的应用

基于Weierstrass逼近定理，阐释了将一般非线性回归模型近似为多项式模型来处理的数学原理，从而引入了把多元非线性回归分析转化为多元线性回归分析的一般方法，并且通过实际应用案例分析表明该方法的实用性和有效性。

众所周知， 在许多实际问题中都需要用量化的方法研究两个(或多个)变量之间存在的关系， 即根据变量的观测值近似地建立表达变量间关系的曲线(或广义曲面)方程，也就是所谓的曲线(或曲面)拟合问题。

运用统计分析方法，近似地建立变量间的数学方程式，检验和比较一个或一组变量对所关注的变量的影响程度，进而用一个或一组变量的变化，解释、预测和控制所关注变量的变化，这就是所谓的回归分析。在回归分析中，所关注的变量称为因变量，记作y ；而影响因变量变化的另一个或一组变量称为 自变量或影响变量， 记作x 或12, , , px xx。

根据自变量的个数， 可以把回归分析划分为一元的或多元的。

回归模型表达如下： ()12, , , pyfx xxε=+ 其中ε 是均值为零的正态随机变量，表示随机误差。当()12, , , pfx xx是p 元线性函数时，则称为p 元线性回归模型；当()12, , , pfx xx是p 元非线性函数时，则称为p 元非线性回归模型。回归分析的首要任务就是要根据样本值(或观测值)确定多元函数()12, , , pfx xx的具体数学表达式，从而得到回归方程： ( )()12ˆ, , , pyE yfx xx==.

对于此类问题，数理统计学所提供的常用和成熟的数据分析工具是线性回归分析理论和方法。但是在实际问题中，因变量y 和影响变量12, , , px xx之间往往并不存在显著的线性相关关系，而多是非线性相关关系。通常的处理方法是借助其它信息或专业知识，预知非线性函数()12, , , pfx xx的函数类型， 然后通过适当的变量替换，将非线性回归模型转化为线性回归模型来研究。当1p = 时，即对于一元回归模型而言，这一方法比较容易实现。首先通过观察确定相关点(), iix y集中在一条什么样的曲线附近来预判一元非线性函数( )f x 的函数类型，然后通过适当的变量替换转化为一元线性回归模型来处理。然而， 当2p ≥时，即对于多元非线性回归模型来说，这种方法很难实行，从而难以事先确定多元非线性函数()12, , , pfx xx的函数类型。因此，如何选择合适的多元非线性回归模型是个值得研究的问题，而Weierstrass 逼近定理提示我们，很多情况下可以近似为多项式模型。

2. Weierstrass 逼近定理 通常所指的Weierstrass 逼近定理有两个，一个是多项式函数列逼近定理，另一个是三角函数列逼近定理。我们这里主要介绍Weierstrass 第一逼近定理，其表述如下(相关细节可参见Rudin [1])： 定理[1]。

设()12, , , pfx xx是定义在有界闭区域pDR⊂上的连续函数， 则对任给的0ε >， 都存在p元多项式()12, , , pp x xx，使得对一切()12, , , px xxD∈一致地成立