发布日期: 11/15/2021

Image shown here估计方法的统计详细信息

惩罚回归方法通过赋予回归系数罚值引入了偏倚。

Image shown here岭回归

在岭回归期间,回归系数应用了 l2 罚值。按以下公式给出岭回归系数的估计值:

Equation shown here,

其中,Equation shown herel2 罚值,λ 是调节参数,N 是行数,p 是变量数。

Image shown hereDantzig 选择器

在 Dantzig 选择器计算期间,回归系数应用了 l 罚值。Dantzig 选择器的系数估计值满足以下准则:

Equation shown here

其中,Equation shown here 表示 l 范数,该范数是向量 v 的分量的最大绝对值。

Image shown hereLasso 回归

在 Lasso 期间,回归系数应用了 l1 罚值。按以下公式给出 Lasso 的系数估计值:

Equation shown here,

其中,Equation shown herel1 罚值,λ 是调节参数,N 是行数,p 是变量数

Image shown here弹性网络

弹性网络组合 l1 l2 罚值。按以下公式给出弹性网络的系数估计值:

Equation shown here,

这是等式中使用的符号:

Equation shown herel1 罚值

Equation shown herel2 罚值

λ 是调节参数

α 是一个参数,用于确定 l1l2 罚值的组合值

N 是行数

p 是变量数

提示:有两个样本脚本,这两个脚本演示变动单个预测变量的弹性网络中的 αλ 的收缩影响。选择帮助 > 样本数据,点击打开样本脚本目录,然后选择 demoElasticNetAlphaLambda.jsldemoElasticNetAlphaLambda2.jsl。每个脚本都包含关于使用方法和演示内容的说明。

Image shown here自适应方法

自适应 Lasso 方法使用加权罚值来提供一致的系数估计值。l1 罚值的加权形式为

Equation shown here,

其中,若 MLE 存在,则 Equation shown here 是 MLE。若 MLE 不存在并且响应分布为正态分布,则使用最小二乘法进行估计,而 Equation shown here 是使用广义逆矩阵求得的解。若响应分布非正态分布,则 Equation shown here 是岭解。

对于自适应 Lasso,这个加权形式的 l1 罚值用于确定 Equation shown here 系数。

自适应弹性网络使用这个加权形式的 l1 罚值,也应用 l2 罚值的加权形式。自适应弹性网络的 l2 罚值的加权形式为

Equation shown here,

其中,若 MLE 存在,则 Equation shown here 是 MLE。若 MLE 不存在并且响应分布为正态分布,则使用最小二乘法进行估计,而 Equation shown here 是使用广义逆矩阵求得的解。若响应分布非正态分布,则 Equation shown here 是岭解。

需要更多信息?有问题?从 JMP 用户社区得到解答 (community.jmp.com).