「
推定法」のオプション
推定法」のオプション|
•
|
|
•
|
モデルに含める効果の個数をステップごとに増加させていきます。それぞれのステップで、そのステップ数に対応した個数の効果を持つ、可能なすべてのモデルから最良のモデルが選択されます。「パラメータ推定値の経路」のプロットの横軸における値は、モデルに含まれる有効果の個数になっています。ステップ0では、切片だけのモデルがあてはめられます。ステップ1は、効果を１つだけ含むモデルのなかで最良のモデルを表しています。ステップは、「モデルの設定」レポートの「詳細設定」で「効果の最大個数」の値まで続けられます。第 “詳細設定”を参照してください。
（［分布］で［正規］を選択し、［切片なし］オプションが選択されていないときのみ使用可能。）線形計画法を使用し、l1ペナルティを適用してパラメータ推定値を計算します。Candes and Tao（2007）を参照してください。Dantzig選択器は、実験計画に基づくデータを分析するのに役立ちます。直交計画で得られたデータにおいては、Dantzig選択器とLassoが同じ結果になります。詳細は、第 “Dantzig選択器”を参照してください。
回帰係数の絶対値の和（l1ぺナルティ）を罰則項として、パラメータを推定します。l1ぺナルティがもつ性質により、一部のパラメータ推定値が0になりやすい傾向をもちます。したがって、この推定法は、パラメータの縮小だけではなく、変数選択も同時に行います。通常のLassoは、すべての回帰パラメータに対して均等に罰則を課します。
回帰係数の絶対値を重み付けた和（重み付きのl1ペナルティ）を罰則項として、パラメータを推定します。l1ペナルティのこの罰則項は、モデルが預言的性質をもつように、データから決定されます（Zou, 2006）。このオプションは、最尤推定値を使ってl1ペナルティに重みを付けます。なお、説明変数の個数が標本サイズより多い場合や、説明変数間に1次従属性がある場合、最尤推定値は計算できません。そのような状況で最尤推定値が計算できない場合、一般化逆行列またはリッジ回帰の解がl1ペナルティの重みとして使用されます。第 “適応型手法”を参照してください。
Lassoと適合型Lassoは、説明変数が強く相関している場合、パラメータの少ないモデルを選びます。これらの手法では、強く相関している説明変数のなかからいずれかの説明変数を1つだけ選択する傾向があります。説明変数の間に強い相関があるなら、 Lassoではなく弾性ネットの方が適しているかもしれません。詳細は、第 “Lasso回帰”を参照してください。
l1ペナルティとl2ペナルティの両方を組み合わせ、かつ、適応型の罰則項を用いて、パラメータを推定します。このオプションは、最尤推定値を使ってl1ペナルティに重みを付けます。なお、説明変数の個数が標本サイズより多い場合や、説明変数間に1次従属性がある場合、最尤推定値は計算できません。そのような状況で最尤推定値が計算できない場合、一般化逆行列またはリッジ回帰の解がl1ペナルティの重みとして使用されます。なお、「詳細設定」パネルにおいて「弾性ネットのアルファ」の値を変更することができます。第 “適応型手法”を参照してください。
説明変数の間に強い相関があるなら、予測精度の点で、Lassoよりも弾性ネットの方が優れています （なお、リッジ回帰とLassoは、どちらも弾性ネットの特殊形です）。多くの場合、適応型弾性ネットの方が、弾性ネットや適応型Lassoよりも予測精度が優れています。弾性ネットには、変数選択を行う側面と、相関の高い複数の説明変数に適切なパラメータ推定値を割り振る側面の両方を持ち合わせています。詳細は、第 “弾性ネット”を参照してください。
リッジ回帰の枠組みで、パラメータを推定します。リッジ回帰は、罰則付きの回帰分析の一つで、l2ペナルティを適用します。パラメータ推定値は0になりません。よって、すべての説明変数を常にモデルに含めておきたい場合に役立ちます。詳細は、第 “リッジ回帰”を参照してください。
ダブルLassoは、標本サイズが説明変数の個数よりも少ない場合に特に役立ちます。変数選択と縮小の処理が2つの段階に分かれていることにより、モデルに含まれる項に対して過度の罰則が課される可能性が低くなります。ダブルLassoは緩和型Lasso（relaxed Lasso）に似ています。緩和型Lassoについては、Hastie et al.（2009, p. 91）を参照してください。
パラメータ推定値を2段階で計算します。第1段階では、適応型Lassoモデルをあてはめ、どの項を第2段階に使うかを決定します。第2段階では、第1段階の項を使って適応型Lassoモデルをあてはめます。第2段階では、第1段階のモデルに含まれる項のみを考慮し、第1段階のパラメータ推定値に基づく重みを使用します。重みの計算法は、「詳細設定」の「適応型ペナルティの重み」オプションにおいて選択できます。第 “［詳細設定］オプション”を参照してください。表示される結果は、第2段階が終わった後の結果です。第1段階でモデルに追加される変数がない場合、第2段階は実行されず、第1段階の結果がレポートに表示されます。第 “適応型手法”を参照してください。