预测和专业建模 > 模型筛选 > “模型筛选”报表 > 训练、验证和测试拟合测度
发布日期: 11/15/2021

训练、验证和测试拟合测度

对于指定的每个模型数据集,都有一个拟合测度报表。模型数据集可以是训练集、训练和验证集,或是训练、验证和测试集。每个报表都包含具有以下列的表:

方法

用于拟合模型的方法的名称。

数目

集中的观测数。

权重和

权重总和。

R 方

(仅可用于连续响应。)拟合模型的 R 方值。

熵 R 方

(仅可用于分类响应。)比较拟合模型和恒定概率模型的对数似然的一种拟合测度。熵 R 方的范围介于 0 到 1 之间,其中接近 1 的值指示拟合更佳。请参见熵 R 方

误分类率

(仅可用于分类响应。)模型误分类的观测比例。值越小指示拟合效果越好。

注意:在这些表中,误分类率总是使用概率阈值 0.5 来计算。

AUC

(仅可用于分类响应。)ROC 曲线下面积。值越接近 1 指示拟合效果越好。

RASE

均方预测误差的平方根(平均平方根误差)。RASE 计算如下,其中指示训练集、验证集或测试集。

Equation shown here

广义 R 方

(仅可用于分类响应。)可以应用到一般回归模型的测度。它基于似然函数 L,并且统一尺度后最大值为 1。值为 1 表示完美模型,值为 0 表示并不比常数模型好的模型。对于在标准最小二乘设置中的连续正态响应,“广义 R 方”测度简化为传统 R 方。“广义 R 方”亦称 Nagelkerke/Craig and Uhler R2,它是 Cox and Snell 伪 R2 的标准化版本。请参见 Nagelkerke (1991)。

(仅当在启动窗口中指定了“K 折交叉验证”选项或“嵌套交叉验证”选项时才可用。)标识为该行中的模型拟合保留的折。

内折

(仅当在启动窗口中指定了“嵌套交叉验证”选项时才可用。)标识为该行中的模型拟合保留的内部折。

试验

(仅当在启动窗口中指定了“重复 K 折”选项时才可用。)标识该行中的模型拟合的试验数目。

在每个表下提供了以下选项:

选择占优

根据模型拟合准则的组合,选择优于或等同于其他所有模型的每个模型。对于连续响应,在确定占优模型时考虑了“R 方”和“频数总和”。对于分类响应,在确定占优模型时考虑了“熵 R 方”、“误分类率”、“AUC”和“频数总和”。

运行已选定

为每个选定行运行单个模型。

警告:若指定了任何形式的“K 折交叉验证”,“运行已选定”将针对最后一折确定的训练集和验证集运行选定的模型。

保存选定的脚本

将每个选定行的模型脚本保存至脚本窗口。

警告:若指定了任何形式的“K 折交叉验证”,“保存选定的脚本”将为最后一折确定的训练集和验证集上运行的选定模型保存脚本。

需要更多信息?有问题?从 JMP 用户社区得到解答 (community.jmp.com).