单因子方差分析

什么是单因子方差分析?

单因子方差分析 (ANOVA) 是一种统计方法,可用于检验三组或更多组的均值差异。

如何使用单因子方差分析?

如果您有单个自变量(即因子),并且您的目标是调查变异(即该因子的不同水平)是否对因变量产生可测量的影响,通常就会使用单因子方差分析。

有哪些局限性需要考虑?

单因子方差分析只能用于调查单个因子和单个因变量。在比较三组或更多组的均值时,它可以告诉我们是否至少有一对均值存在显著差异,但它无法告诉我们具体是哪一对。此外,它还要求每组中的因变量呈正态分布且各组的组内变异性是相似的。

单因子方差分析可检验组均值的差异

单因子方差分析是一种统计方法,可用于检验三个或更多总体均值相等的原假设 (H0) 与至少有一个均值不同的备择假设 (Ha)。对于 k 个均值,我们可用正式的统计假设表示法写为:

$ H_0:\mu_1=\mu_2=\cdots=\mu_k $

$ H_a:\mathrm{并非所有的均值都相等} $

其中 $\mu_i$ 是因子第 i 个水平的均值。

您可能在想,什么情况下我需要确定多个总体的均值是相同还是不同呢?一种常见的情况是,您怀疑某个特定的过程变量是该过程的重要结果的驱动因素。例如,您可能怀疑不同的生产批次、操作员或原材料批次会影响生产过程的输出(即质量测量值)。

为了验证您的想法,您可以使用此自变量(即因子)的三个或更多变异(即水平)来运行过程,然后从每次运行的结果中抽取观测值样本。如果使用方差分析比较各组观测值的均值时发现了差异,那么(假设您已正确完成所有操作!),您就有证据来证明您的猜想是正确的 — 您所检验的因子可能对结果有影响!

单因子方差分析示例

让我们来详细地研究一个单因子方差分析示例。假设您在一家制造粘合剂凝胶的公司工作,这些凝胶装在小罐中出售。凝胶的粘度很重要:太稠会难以施涂;太稀会粘合性不足。您最近收到了一些客户对产品不满意的反馈,他们抱怨粘合剂的粘度不像以前那样稳定。老板要求您调查此事。

您认为第一步最好是检查五个最近生产批次的平均粘度。如果发现批次之间存在差异,似乎就可以确认问题的确存在。另外,它还有助于您对可能导致批次之间不一致的因素建立假设。

使用一种仪器来测量粘度,将其主轴浸入粘合剂罐中并进行旋转。该检验会产生一个测量值,称为扭矩阻抗。然后分别从最近 5 个批次中随机选择 5 个罐子进行检验,取得每个罐子的扭矩阻抗测量值,并绘制数据。

图 1:按批次显示的扭矩测量值图

从数据图中可以观测到,第 3 批罐子的扭矩测量值看起来低于其他批次样本的扭矩测量值。计算所有测量值的均值后,发现第 3 批的平均扭矩是 26.77,远低于其他 4 个批次,其他批次的均值都是 30 左右。

表 1:检验 5 个批次粘合剂得出的平均扭矩测量值

批次号数目均值
1529.65
2530.43
3526.77
4530.42
5529.37

方差分析表

方差分析结果通常显示在方差分析表中。方差分析表包含:

  • 来源:变异的来源,如所检验的因子(本例为批次)、误差和总计。
  • DF:每个变异来源的自由度。
  • 平方和:每个变异来源的平方和 (SS) 以及所有来源的总计。
  • 均方:平方和除以与其相关联的自由度。
  • F 比:因子(批次)的均方除以误差的均方。
  • 概率 > F:p 值。

表 2:方差分析表(结果取自我们的扭矩测量值)

来源自由度平方和均方F 比概率>F
批次445.2511.316.900.0012
误差2032.801.64  
合计2478.05   

我们将在下文中解释这张表的组成部分是如何得出的。在此表中,目前应关注的一个关键元素是 p 值。p 值用于可评估“所有均值都相同”这个原假设的有效性。在这个例子中,p 值(概率 > F)为 0.0012,可以证明并非所有均值都相同。我们的样本提供了证明:在 5 个批次中,有一个或多个批次之间的平均扭矩阻抗值存在差异。

什么是 p 值?

p 值可衡量假设检验所用的概率。假设检验的目标是确定是否有足够的证据来支持某个关于数据的假设。请回忆一下,对于方差分析,我们提出了两个假设:所有均值都相等的原假设以及并非所有均值都相等的备择假设

由于我们仅检验从总体中随机抽取的数据样本,因此存在样本均值不能代表总体均值的风险。p 值为我们提供了一种方法来量化该风险。它是样本数据均值的任何变异性都纯属偶然性结果的概率;更具体地说,它是观测到的样本均值方差至少等于您在原假设实际上为真(即总体均值实际上相等)时测得的方差的概率。

如果 p 值较小,您将拒绝原假设。拒绝原假设的阈值通常为 0.05。也就是说,如果 p 值小于 0.05,您将拒绝原假设,转而支持备择假设,即至少有一个均值与其余的均值不同。

基于上述结果,您决定对第 3 批做进一步的检验。这时,您可以在报告中这样写:分别从 5 个最近的生产批次中抽取了 5 罐产品并测量了其扭矩。方差分析发现,观测值支持批次之间的平均扭矩存在差异 (p = 0.0012)。数据图显示第 3 批的平均扭矩 (26.77) 比其他 4 个批次低。因此,我们将对第 3 批做进一步的评估。

请记住,方差分析检验不会告诉您具体哪个或哪些均值与其他均值不同,而且数据图上也并非总能明显地看出这一点(这与我们的例子不同)。但有一种方法可以回答有关特定类型差异的问题,那就是使用多重比较检验。例如,要比较组均值与总体均值,您可以使用均值分析 (ANOM)。要对各个批次的均值进行两两比较,您可以使用 Tukey-Kramer 多重比较检验。

单因子方差分析计算

现在,我们来深入地思考一下扭矩测量值的示例。请回忆一下,我们有 5 批材料,从每个批次中随机选择了 5 罐进行检验。这称为单因子设计。批次这 1 个因子有 5 个水平。每个水平又重复(检验) 5 次。检验结果如下所示。

表 3:按批次列出的扭矩测量值

 批次 1批次 2批次 3批次 4批次 5
罐 129.3930.6327.1631.0329.67
罐 231.5132.1026.6330.9829.32
罐 330.8830.1125.3128.9526.87
罐 427.6329.6327.6631.4531.59
罐 528.8529.6827.1029.7029.41
均值29.6530.4326.7730.4229.37

为了探索上面的方差分析表(表 2)中的计算结果,让我们首先建立以下定义:

$n_i$ = 待处理的观测值数量 $i$(在我们的例子中是批次 $i$)

$N$ = 观测值总数

$Y_{ij}$ = 第 i 次处理的第 j 个观测值

$\overline{Y}_i$ = 第 i 次处理的样本均值

$\overline{\overline{Y}}$ = 所有观测值的均值(总均值)

平方和

记住了这些定义之后,让我们来处理方差分析表的“平方和”列。平方和为我们提供了一种方法,可通过关注每个数据点与该数据集中所有数据点均值之间的差异来量化数据集的变异性。下面的公式将总体变异性分成两部分:由模型或因子水平引起的变异性,以及由随机误差引起的变异性。  

$$ \sum_{i=1}^{a}\sum_{j=1}^{n_i}(Y_{ij}-\overline{\overline{Y}})^2\;=\;\sum_{i=1}^{a}n_i(\overline{Y}_i-\overline{\overline{Y}})^2+\sum_{i=1}^{a}\sum_{j=1}^{n_i}(Y_{ij}-\overline{Y}_i)^2 $$

$$ SS(总计)\;     =     \;SS(因子)\;     +     \;SS(误差)$$

虽然该方程式看起来很复杂,但只要分别关注每个元素就会更容易掌握这个方程式。下面的表 4 列出了公式的每个组成部分,然后将其构建到组成平方和的平方项中。第 1 列的 ($Y_{ij}$) 数据包含了我们在上面表 3 中收集到的扭矩测量值。

另一种了解变异性来源的方法:组间变异和组内变异

请回忆一下,在上面的方差分析表(表 2)中,“来源”列列出了两个变异来源:因子(在这个例子中是批次)和误差。另一种了解这两个来源的方法是组间变异(对应于因子或处理引起的变异)和组内变异(对应于偶然性或误差引起的变异)。因此,在这种界定下,平方和公式其实是计算组差异引起的变异(处理效应)与组差异引起的变异(偶然因素引起的无法解释的差异)之和。  

表 4:平方和计算

批次$Y_{ij} $$\overline{Y}_i $$\overline{\overline{Y}}$
$\overline{Y}_i-\overline{\overline{Y}}$$Y_{ij}-\overline{\overline{Y}}$$Y_{ij}-\overline{Y}_i $$(\overline{Y}_i-\overline{\overline{Y}})^2 $$(Y_{ij}-\overline{Y}_i)^2 $$(Y_{ij}-\overline{\overline{Y}})^2 $
129.3929.6529.330.320.06-0.260.100.070.00
131.5129.6529.330.322.181.860.103.464.75
130.8829.6529.330.321.551.230.101.512.40
127.6329.6529.330.32-1.70-2.020.104.082.89
128.8529.6529.330.32-0.48-0.800.100.640.23
230.6330.4329.331.101.300.201.210.041.69
232.1030.4329.331.102.771.671.212.797.68
230.1130.4329.331.100.78-0.321.210.100.61
229.6330.4329.331.100.30-0.801.210.640.09
229.6830.4329.331.100.35-0.751.210.560.12
327.1626.7729.33-2.56-2.170.396.550.154.71
326.6326.7729.33-2.56-2.70-0.146.550.027.29
325.3126.7729.33-2.56-4.02-1.466.552.1416.16
327.6626.7729.33-2.56-1.670.896.550.792.79
327.1026.7729.33-2.56-2.230.336.550.114.97
431.0330.4229.331.091.700.611.190.372.89
430.9830.4229.331.091.650.561.190.312.72
428.9530.4229.331.09-0.38-1.471.192.160.14
431.4530.4229.331.092.121.031.191.064.49
429.7030.4229.331.090.37-0.721.190.520.14
529.6729.3729.330.040.340.300.000.090.12
529.3229.3729.330.04-0.01-0.050.000.000.00
526.8729.3729.330.04-2.46-2.500.006.266.05
531.5929.3729.330.042.262.220.004.935.11
529.4129.3729.330.040.080.040.000.000.01
平方和      SS(因子)= 45.25SS(误差)= 32.80SS(总计)= 78.05

自由度 (DF)

自由度 (DF) 是一个与平方和相关联的值。自由度表示用来计算每个平方和的独立信息的数量。对于因子水平为 k(本例为 5 个批次)且总观测次数为N(每批次 5 个罐子,总共 25 个)的单因子设计,其自由度如下:

表 5:确定自由度

 自由度 (DF) 公式计算出来的自由度
SS(因子)k - 15 - 1 = 4
SS(误差)N - k25 - 5 = 20
SS(总计)N - 125 - 1 = 24

均方 (MS) 和 F 比

我们将每个平方和除以相应的自由度即可得到均方值。当原假设为真(即均值相等)时,MS(因子)和 MS(误差)均为误差方差的估计值且大小大致相同。它们的比率(即 F 比)将接近 1。当原假设不为真时,MS(因子)将大于MS(误差)且其比率将大于 1。在我们的粘合剂检验例子中,计算出的 F 比是 6.90,这充分证明了原假设的均值不相等。

表 6:计算均方和 F 比

 平方和 (SS)自由度 (DF)均方F 比
SS(因子)45.25445.25/4 = 11.3111.31/1.64= 6.90
SS(误差)32.802032.80/20 = 1.64 

MS(因子)与MS(误差)的比率(即 F 比)服从 F 分布。F 分布是我们在原假设为真(即均值相等)时期望观测到的 F 值的分布。F 分布会根据两个参数(分子自由度和分母自由度)具有不同的形状。对于方差分析检验,分子是 MS(因子),因此自由度是与 MS(因子)相关的自由度。分母是 MS(误差),因此分母自由度是与 MS(误差)相关的自由度。

如果计算出的 F 比超过了相应的 F 分布的期望值,则在假设 p 值足够小时,将拒绝均值相等的原假设。在这种情况下,p 值是在原假设为真时,从 F 分布中观测到大于 F 比的值的概率。

图 2:F 分布