基于lingo的线性回归和非线性回归

线性回归和非线性回归的lingo编程实现

内容

1.介绍

1.1 使用工具

1.2 lingo求解回归方程的特点

2.回归方程的求解

2.1线性回归

2.2非线性回归

3.模型推广

1.介绍

本文通过建立目标规划的方法求解回归方程。lingo通过目标规划求解线性和非线性回归方程简单有效,容易理解,编程简单。

1.1 使用工具

lingo18

1.2 lingo求解回归方程的特点

lingo作为一款求解线性和非线性方程方程组功能非常强大的软件,是求解优化模型的最佳选择。很多情况一个问题不止有一个解法。我们在这篇文章中介绍回归方程的另外一种解法。我们求解回归方程通常使用最小二乘法,最小二乘法可以通过以下三种方法求得回归方程参数

1、多元函数求最值(也有的说法把这当成最小二乘法)
2、利用线代的几何意义
3、梯度下降法

得到回归方程中的未知参数后,得到误差最小的回归方程。

但是这些方法的步骤较为繁琐,我们考虑到是否可以通过执果索因的方法求解回归方程参数,具体来说就是通过求解误差最小得到回归方程参数。正常来说,这种违背由因得果的方法基本不可能实现,但是我们考虑将其转化为目标规划,以误差最小为目标函数利用lingo求解,得到误差最小时回归系数的最优解,这一方法省去了大量繁琐的步骤。以下将举线性和非线性回归通过lingo目标规划求解的两个例子。

2.回归方程的求解

下面x,y是原始数据,\bar{y}y的平均值,\hat{y}y的回归值。 N是点数。 a,b,c是回归方程参数。

2.1线性回归

对于一般线性回归y=ax+b, 我们引入相关系数R^{2}作为评价指标,R^{2}越接近于1,吻合程度越高,越接近0,则吻合程度越低。于是我们将R^{2}作为目标函数求解最大值得到系数最优解。

目标函数:

\large max=R^{2}

限制:

\large \hat{y}=ax+b

\large R^2=1-\frac{\sum (y-\hat{y})^{2}}{ \sum (y-\bar{y})^{2} }

lingo程序:

model:
sets:
data/1..21/:x,y,y_fit;!创建x,y,x_fit的原数据和回归矩阵;
endsets
data:
x=13,15,16,21,22,23,25,29,30,31,36,40,42,55,60,62,64,70,72,100,130;!读入x,y数据;
y=11,10,11,12,12,13,13,12,14,16,17,13,14,22,14,21,21,24,17,23,34;
enddata
max=R_square;!目标函数为R^2最大;
R_square=1-@sum(data:((y-y_fit)^2))/@sum(data:((y-y_meanvalue)^2));!计算R^2;
@for(data:y_fit=a*x+b);!线性回归函数;
y_meanvalue=@sum(data:y)/@size(data);!求y的均值;
@free(a);!释放a,b的取值范围;
@free(b);
end

求解结果如下:

R^{2}0.8402766
a0.1795222
b8.208418

由于lingo不方便做图,采用Rstudio做出回归曲线:

基于lingo的线性回归和非线性回归

2.2非线性回归

针对此例我们假设非线性回归方程y=ax+b\cdot logx+c进行回归求解。和线性回归一样,我们采用目标规划,这次我们引入MSE评价指标。数理统计中均方误差是指参数估计值与参数真值之差平方的期望值,记为MSE。MSE是衡量”平均误差”的一种较方便的方法,MSE可以评价数据的变化程度,MSE的值越小,说明预测模型描述实验数据具有更好的精确度。于是我们将MSE最小作为目标函数求解最小值得到系数最优解。

目标函数:

\large min=MSE

限制:

\large MSE=\frac{1}{N}\sum (\hat{y}-y)^{2}

\large \hat{y}=ax+b\cdot logx+c

lingo程序:

model:
sets:
data/1..9/:x,y,y_fit;!创建x,y,x_fit的原数据和回归矩阵;
endsets
data:
x=1.5,4.5,7.5,10.5,13.5,16.5,19.5,22.5,25.5;!读入x,y数据;
y=7,4.8,3.6,3.1,2.7,2.5,2.4,2.3,2.2;
enddata
min=MSE;!目标函数为MSE最小;
MSE=@sum(data:(y_fit-y)^2)/@size(data);!计算MSE;
@for(data:y_fit=a*x+b*@log(x)+c);!回归函数;
@free(a);!释放a,b的取值范围;
@free(b);
end

求解结果如下:

\large MSE0.003873966
\large a0.08187599
\large b-2.398902
\large c7.893306


由于lingo不方便做图,采用Rstudio做出回归曲线:

基于lingo的线性回归和非线性回归

3.模型推广

lingo相比较与其它软件它做回归方程的目标规划求解的灵活性更高。遇到一些特殊情况,在求解回归方程时我们可以通过增加约束方程的形式加入我们的要求。如果使用其它损失评价指标只需改变目标函数和约束条件即可。lingo通过目标规划解决线性和非线性回归方程简单有效,容易理解,编程简单。

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
扎眼的阳光的头像扎眼的阳光普通用户
上一篇 2022年3月18日 下午2:36
下一篇 2022年3月18日 下午2:55

相关推荐