公開日: 04/01/2021

Image shown here推定法の統計的詳細

罰則(ペナルティ)を課した回帰手法では、回帰係数に罰則を課すことによってバイアスが生じます。

Image shown hereリッジ回帰

リッジ回帰では、回帰係数にl2ペナルティが適用されます。リッジ回帰係数の推定値は、次のように求められます。

Equation shown here

この式で、Equation shown herel2ペナルティ。lは調整パラメータ、Nは行数、pは変数の数です。

Image shown hereDantzig選択器

Dantzig選択器では、回帰係数にlペナルティが適用されます。Dantzig選択器の推定値は、次のように求められます。

Equation shown here

この式で、Equation shown herelノルムを表します。このノルムは、vベクトルにおける要素の絶対値のうち最大のものです。

Image shown hereLasso回帰

Lasso回帰では、回帰係数にl1ペナルティが適用されます。Lasso回帰係数の推定値は、次のように求められます。

Equation shown here

この式で、Equation shown herel1ペナルティ。lは調整パラメータ、Nは行数、pは変数の数です。

Image shown here弾性ネット

弾性ネットは、l1l2の両ペナルティを組み合わせて使用します。弾性ネット係数の推定値は、次のように求められます。

Equation shown here

この式で使われている記号は次のとおりです。

Equation shown herel1ペナルティ

Equation shown herel2ペナルティ

lは調整パラメータ

al1ペナルティとl2ペナルティの配分を決定するパラメータ

Nは標本サイズ

pは変数の個数

ヒント: 説明変数が1つしかない弾性ネットモデルで、alを変化させたときの縮小効果を示す2つのサンプルスクリプトがあります。[ヘルプ]>[サンプルデータ]を選択し、[サンプルスクリプトディレクトリを開く]をクリックして、[demoElasticNetAlphaLambda.jsl]または[demoElasticNetAlphaLambda2.jsl]を選択してください。それぞれのスクリプトの先頭に、使用法と表示される内容説明が(英語で)記載されています。

Image shown here適応型手法

適応型Lassoの手法では、重み付きのペナルティを使って、一致推定値を求めます。重み付きのl1ペナルティの計算式は次のとおりです。

Equation shown here

この式で、Equation shown hereは、最尤推定値が存在する場合は最尤推定値です。応答変数の確率分布として正規分布を指定したときで、最尤推定値が存在しない場合には、Equation shown hereには一般化逆行列を使って求めた最小2乗推定解が使われます。応答変数の確率分布として正規分布以外のものを指定したときで、最尤推定値が存在しない場合には、Equation shown hereにはリッジ回帰の解が使われます。

適応型Lassoの場合、この重み付きl1ペナルティを使って、Equation shown here係数が決定されます。

適応型弾性ネットの場合は、この重み付きl1ペナルティを使い、さらにl2ペナルティにも重みを付けます。適応型弾性ネットの重み付きl2ペナルティの計算式は次のとおりです。

Equation shown here

この式で、Equation shown hereは、最尤推定値が存在する場合は最尤推定値です。応答変数の確率分布として正規分布を指定したときで、最尤推定値が存在しない場合には、Equation shown hereには一般化逆行列を使って求めた最小2乗推定解が使われます。応答変数の確率分布として正規分布以外のものを指定したときで、最尤推定値が存在しない場合には、Equation shown hereにはリッジ回帰の解が使われます。

より詳細な情報が必要な場合や、質問があるときは、JMPユーザーコミュニティで答えを見つけましょう (community.jmp.com).