図5.3 「ステップワイズ回帰の設定」パネル
［停止ルール］では、変数選択の方法を指定します。［閾値p値］以外のすべての停止ルールに対しては、方向として［変数増加］と［変数減少］のいずれかだけを使用できます。検証データを使用する停止ルールは、［最大検証R2乗］と［最大K分割R2乗］だけです。第 “検証セットの使用”を参照してください。
|
–
|
［変数を追加するときのp値］には、モデルに変数を追加するときのp値の上限を指定します。
|
|
–
|
［変数を除去するときのp値］には、モデルから変数を削除するときのp値の下限を示します。
|
最大検証R2乗 検証データのR2乗が最大となるモデルを選択します。これは、検証列が指定されており、その列に一意の値が2～3個ある場合にのみ指定できます。検証については、第 “「検証」列の値が2つまたは3つの場合”を参照してください。
K分割交差検証のR2乗が最大となるモデルを選択します。ステップワイズの赤い三角ボタンメニューで［K分割交差検証］オプションを選択すると、停止ルールとして［最大K分割R2乗］が選択できるようになります。JMP Proの場合は、指定した検証列に4つ以上の値があるときにも、このオプションを選択できます。このオプションを選択すると、分割の数を指定するよう求められます。検証については、第 “K分割交差検証”を参照してください。
p値が最も小さい項からモデルに追加していきます。停止ルールに［閾値p値］を選択した場合は、「変数を追加するときのp値」で指定した水準以下のものしか追加されません。第 “変数増加法の例”を参照してください。
p値が最も大きい項からモデルから削除していきます。停止ルールに［閾値p値］を選択した場合は、「変数を除去するときのp値」で指定した水準以上のものしか削除されません。第 “変数減少法の例”を参照してください。
停止ルールに［閾値p値］を選択した場合にのみ使用可能です。変数増減法とも呼ばれ、変数の追加と削除を交互に実行します。「変数を追加するときのp値」を満たす変数のうちでp値が最小のものが追加され、「変数を除去するときのp値」を満たす変数のうちでp値が最大のものが削除されます。モデルから変数を削除する処理は、すべての変数が有意になるまで行われ、有意な項だけが残った時点で、変数を追加するステップに切り替わります。
メモ: この節で説明するオプションは、階層的な関係にある項がモデルに含まれている場合にのみ表示されます。名義尺度または順序尺度の変数がある場合、関連する項が作成され、「現在の推定値」表に表示されます。
|
•
|
ある項を追加するかどうかを検討する際、その項に対する上位の項がある場合に、2つの検定のp値における最大値が計算されます。1番目のp値、p1は、該当する項と上位の項を一緒にまとめてF検定した結果のp値です。2番目のp2は、上位の項をモデルに追加した後に計算される、その項だけのp値です。最終的なp値は、max(p1, p2)と定義されます。
ヒント: ［組み合わせ］ルールは、特に強い効果を持つ上位の項がある場合に、有意でない交互作用効果が含まれてしまうのを防ぎます。この例では、主効果が強いために、主効果と交互作用と一緒に検定したp値であるp1は非常に小さくなる可能性があります。しかし、交互作用自体は有意でないので、2番目のp値は大きくなるでしょう。その結果、大きな値となっているp2のほうが、最終的なp値として使用されます。
注意: 上位の項を持つ項における「自由度」は、大きい方のp値の検定における自由度です。つまり、「現在の推定値」表にある「自由度」は、最終的に使われた検定の自由度です。p1が使用された場合、「自由度」はその項と上位と項を組み合わせた全体の自由度です。一方、p2が使用された場合、「自由度」は1になります。
変数追加や変数除去を、1ステップだけ実行します。「モデルのあてはめ」ウィンドウを開き、「現在の推定値」表に表示されているモデルを作成します。名義尺度または順序尺度の変数がある場合は、［モデルの作成］を行うと、変数選択の結果に応じて、一時的な変換列も作られます。
「現在の推定値」表に表示されているモデルを実行します。名義尺度または順序尺度の変数がある場合は、［モデルの実行］を行うと、変数選択の結果に応じて、一時的な変換列も作られます。
s2は完全モデルのMSE（誤差の平均平方）で、SSEpは、切片を含めてp個のパラメータがあるモデルの誤差平方和です。pは説明変数の個数に1を足したものです。Mallows（1973）は、pに対してCpをプロットしたときに、Cpがpに近づき始めたところのモデルを選ぶことを推奨しています。
|
1.
|
第 “ステップワイズ回帰の使用例”の手順を完了します。
|
［方向］は、デフォルトの［変数増加］のままにしてください。
|
2.
|
［ステップ］をクリックします。
|
1ステップを行った後における変数増加の「現在の推定値」表で、この1ステップを行った時点で、最も有意な項である「走行時間」がモデルに追加されます。
|
3.
|
［実行］をクリックします。
|
|
1.
|
第 “ステップワイズ回帰の使用例”の手順を完了します。
|
|
2.
|
［すべて追加］をクリックします。
|
図5.6 すべての効果が追加されたモデル
|
3.
|
［方向］で［変数減少］を選択します。
|
|
4.
|
［ステップ］を2回クリックします。
|
図5.7 有意でない項が削除された後の結果
変数減少法の結果は、有意でない項が削除された後の結果のようになります。「ステップ履歴」表を見ると、第3ステップのBIC値は156.362です。［ステップ］をクリックしてモデルからもう一つパラメータを削除すると、BICの値は159.984に増加します。そのため、ステップ3のモデルを選択します。これは、［実行］ボタンをクリックしたときに作成されるモデルでもあります。