公開日: 04/01/2021

尤度・AICc・BIC

JMPにおいては、統計モデルを推定するのに、最尤法が多く使われています。最尤法は、尤度が最大になるようなモデルパラメータ(一般的にbと記されます)を求める推定方法です。「尤度」(ここではL(b)と記します)とは、観測されたデータで評価された確率密度関数の積(離散分布の場合は確率質量関数の積)です。最尤法は、観測されたデータを所与として、L(b)を最大化するパラメータbを求めます。

尤度L(b)そのものを最大化するよりも、尤度の自然対数に‐1を掛けたもの(つまり、-Log L(b))を最小化する方が簡単です。L(b)を最大化する問題は、この負の対数尤度( (-1)*対数尤度 = -Log L(b))を最小化する問題と等価です。そのため、負の対数尤度(または対数尤度に-2を掛けたもの)が小さいほど、モデルの適合度が良いことを示します。

異なるプラットフォームでモデルを推定した場合も、負の対数尤度に基づいて、それらの異なるモデルを比較したり、仮説検定を計算したりできます。モデルを比較する仮説検定は、尤度比によって行えます。多くのプラットフォームでは「(-2)*対数尤度」がレポートされていますが、この統計量を用いる理由の1つは、完全モデルと縮小モデルにおける「(-2)*対数尤度」の差が漸近的にカイ2乗分布に従うからです。なお、この尤度比検定における自由度は、完全モデルと縮小モデルのパラメータ数の差です(Wilks, 1938)。

修正済み赤池情報量規準(AICc)およびベイズ情報量規準(BIC)は、情報量に基づいて、モデルの良さを評価します。両者とも対数尤度を2倍したものを計算に用いています。

AICcは次のように定義されます。

Equation shown here

ここで、kはモデルで推定されるパラメータの個数、nはモデルに使用された標本サイズです。AICcは、同じデータセットにさまざまなモデルをあてはめたとき、それらから最良のモデルを選択するのに使われています。いくつかのモデルを比較したときに、AICcが小さい方が良いモデルとみなされます(Akaike 1974)。

BICは次のように定義されます。

Equation shown here

ここで、kはモデルで推定されるパラメータの個数、nはモデルに使用された標本サイズです。いくつかのモデルを比較したときに、BICが小さい方が良いモデルとみなされます。

一般に、BICの方がAICcよりも、パラメータに対する罰則(ペナルティ)が大きくなっています。そのため、BICの方がAICcよりも、パラメータの少ないモデル(パラメータが節約されたモデル)を選択します。AICcとBICの詳細な比較については、Burnham and Anderson(2004)を参照してください。

最小2乗回帰におけるAICcおよびBICの簡略式

最小2乗回帰の場合、AICcとBICは誤差平方和(SSE)に基づいて計算することもできます。SSEでは、AICcとBICは以下のように定義されます。

Equation shown here

Equation shown here

ここで、kはモデルに含まれるパラメータ推定値の個数、nはモデルで使用された標本サイズ、SSEはモデルの誤差平方和です。

より詳細な情報が必要な場合や、質問があるときは、JMPユーザーコミュニティで答えを見つけましょう (community.jmp.com).