統計的詳細
リッジ回帰
リッジ回帰では、回帰係数にl2ペナルティが適用されます。リッジ回帰係数の推定値は、次のように求められます。
l2ペナルティ。lは調整パラメータ、Nは行数、pは変数の数です。
Lasso回帰
Lasso回帰では、回帰係数にl1ペナルティが適用されます。Lasso回帰係数の推定値は、次のように求められます。
l1ペナルティ。lは調整パラメータ、Nは行数、pは変数の数です。
弾性ネット
弾性ネットは、l1とl2の両ペナルティを組み合わせて使用します。弾性ネット係数の推定値は、次のように求められます。
l1ペナルティ
l2ペナルティ
lは調整パラメータ
al1ペナルティとl2ペナルティの配分を決定するパラメータ
Nは行数
pは変数の数
適応型手法
適応型Lassoの場合、この重み付きl1ペナルティを使って、係数が決定されます。
適応型弾性ネットの場合は、この重み付きl1ペナルティを使い、さらにl2ペナルティにも重みを付けます。適応型弾性ネットの重み付きl2ペナルティの計算式は次のとおりです。