发布日期: 11/15/2021

“交叉验证”报表

仅当在“模型启动”控制面板中将某种交叉验证方式选为“验证方法”时,才显示该报表。报表标题被动态地命名为 <交叉验证方法> 且方法 = <方法指定>,具体取决于在控制面板中选定的交叉验证和方法选项。它显示模型拟合的汇总统计量,拟合所用的因子数为 0 到提取的最大因子数(在“模型启动”控制面板中指定)。该报表还提供“PRESS 均值根值图”。请参见PRESS 均值根图。使用最小 PRESS 均值根统计量标识最佳因子数。

图 6.10 “交叉验证”报表 

Image shown here

Image shown here当选定标准化 X 选项时,标准化会一次性应用到整个数据表。它不会重新应用到各个训练集。但是,当选定中心化统一尺度选项的任意组合时,该选择组合会应用到每个交叉验证训练集。使用这些训练集执行交叉验证,若选定这些选项则会对它们单独进行中心化和统一尺度。

报表中显示以下统计量。若使用了任何形式的验证或交叉验证,则报告的结果是训练集统计量的汇总。

因子数

拟合模型时使用的因子数。

PRESS 均值根

所有响应的 PRESS 值的平均值的平方根。请参见PRESS 均值根

van der Voet T2

van der Voet 检验的统计量,它检验具有不同提取因子数的模型是否与最佳模型存在显著差异。每个 van der Voet T2 检验的原假设假定基于相应因子数的模型与最佳模型没有差异。备择假设是该模型与最佳模型有差异。请参见van der Voet T2

概率 > van der Voet T2

van der Voet T2 检验的 p 值。请参见van der Voet T2

Q2

预测能力的无量纲测度,它定义为:从 1 中减去 PRESS 值除以 Y 的总平方和所得的比值,即:

1 PRESS/SSY

请参见Q2 的计算

累积 Q2

具有给定因子数或更少因子数的模型的预测能力指标。对于给定的因子数 f,按以下方式定义累积 Q2

Equation shown here(Pressi/SYYi)

此处 PRESSiSSYi 对应于它们针对 i 个因子的值。

R2X

由指定因子解释的 X 变异的百分比。具有较大 R2X 的成分解释 X 变量中的大部分变异。请参见使用验证时 R2X 和 R2Y 的计算

累积 R2X

具有给定因子数的模型所解释的 X 变异的百分比。它是 R2X 值之和( i = 1 到给定的因子数)。

R2Y

由指定因子解释的 Y 变异的百分比。具有较大 R2Y 的成分解释 Y 变量中的大部分变异。请参见使用验证时 R2X 和 R2Y 的计算

累积 R2Y

具有给定因子数的模型所解释的 Y 变异的百分比。它是 R2Y 值之和(i = 1 到给定的因子数)。

Q2 和累积 R2Y 的解释

统计量 Q2 和累积 R2Y 均可衡量模型的预测能力,但方法不同。

累积 R2Y 随因子数的增加而增大。这是因为随着因子添加至模型,更多的变异得到解释。

Q2 的趋势是随因子数的增加,先增大后减小(或至少停止增大)。这是因为随着更多的因子添加至模型,模型开始调整训练集,对于新数据却得不到较好的结果,导致 PRESS 统计量减小。

Q2 和累积 R2Y 分析是 van der Voet 检验的一个替代方法,用于确定要在模型中包括多少因子。选择一个因子数,使得 Q2 较大且没有开始减小。您还希望累积 R2Y 较大。

图 6.11 显示 Penta.jmp 数据表针对因子数标绘的累积 R2Y 和 Q2,验证方法为“留一法”。累积 R2Y 增加,并且在大约四个因子时开始趋于平稳。统计量 Q2 在两个因子时最大,然后开始趋于平稳。该图表明具有两个因子的模型将能够解释 Y 中的大部分变异,且不会过拟合数据。

图 6.11 Penta.jmp 的累积 R2Y 和 Q2 

Image shown here

PRESS 均值根图

该条形图在水平轴上显示因子数,在垂直轴上显示“PRESS 均值根”值。它等效于在“交叉验证”报表(图 6.10)中显示在“PRESS 均值根”列右侧的水平条形图。

PRESS 均值根

对于指定的因子数 a,使用以下步骤计算 PRESS 均值根:

1. 对每个训练集拟合具有 a 个因子的模型。

2. 将得到的预测公式应用到验证集中的观测。

3. 对于每个 Y:

对于每个验证集,计算每个验证集的观测值与其预测值的差值平方(预测误差平方)。

对于每个验证集,求这些差值平方的平均值并将结果除以响应的方差估计值。对于“K 重”和“留一法”验证方法,除以整个响应列的方差。对于“保留”验证方法,除以训练集中响应值的方差。

将这些均值相加,若有多个验证集时,则将它们的总和除以验证集数减 1。这是给定 Y 的 PRESS 统计量。

4. a 个因子的“PRESS 均值根”是所有响应的 PRESS 值的平均值的平方根。

5. 多个 Y 的 PRESS 统计量通过计算在第 3 步中获得的全部响应的 PRESS 统计量的平均值得到。

Q2 的计算

统计量 Q2 定义为 1 - PRESS / SSYPRESS 统计量是模型的所有响应的预测误差平方和平均值,该模型基于训练集构建,但是基于验证集计算。SSY 的值是所有响应的 Y 的平方和平均值,这些响应基于验证集中的观测值。

根据选择的验证方法,按以下方式计算“交叉验证”报表中的统计量 Q2

留一法

Q2 是针对验证集计算的 1 - PRESS / SSY 值的平均值,指标计算基于通过一次留一个观测构造的模型。

K 重

Q2 是针对验证集计算的 1 - PRESS / SSY 值的平均值,指标计算基于通过每次留 K 个子集中的一个构造的 K 个模型。

保留或验证集

Q2 是针对验证集计算的 1 - PRESS / SSY 值的平均值,指标计算基于使用单个训练数据集构造的模型。

使用验证时 R2X 和 R2Y 的计算

根据选择的验证方法,按以下方式计算“交叉验证”报表中的统计量 R2X 和 R2Y:

注意:对于所有这些计算,以类似方式计算 R2Y。

留一法

通过每次留一个观测来构造模型,针对这些模型的 X 效应解释的变异百分比的平均值即为 R2X。

K 重

通过每次留一个子集来构造 K 个模型,针对这些模型的 X 效应解释的变异百分比的平均值即为 R2X。

保留或验证集

使用训练数据来构造模型,针对该模型的 X 效应解释的变异百分比即为 R2X。

需要更多信息?有问题?从 JMP 用户社区得到解答 (community.jmp.com).