「一致性レポート」の統計的詳細
「計数値用ゲージチャート」プラットフォームでは、単純カッパ係数が報告されます。判定者間の一致性を表す指標には、次の単純カッパ係数が使われています。
ここで
および
P0は、現在のデータにおいて2つの評価システムの評価が一致している観測割合であり、Peは「2つの評価システムが独立に評価を行っている」と仮定したときに評価が一致する期待割合です。
2つの応答変数を、n個の部品に対する2つの独立した判定であると考えたとき、判定者どうしの判定が完全に一致するとカッパ係数が1になります。観測された一致性が偶然による一致性を上回るとカッパ係数が正の値になり、数値の大きさが一致性の高さを表します。実際にはほとんどあり得ないケースですが、観測された一致性が偶然による一致性を下回ると、カッパが負になります。カッパ係数の最小値は、周辺度数に応じて-1から0までの間の値を取ります。
単純カッパ係数の漸近分散は、次のような推定式で計算されます。
ここで
および
レポートには、カッパ統計量の棒グラフも描かれ、また、標準誤差も計算されます。
メモ: 計数値用ゲージチャートのカッパ統計量は、変数の水準が同じでない場合にも計算されます。
「カテゴリごとの一致性」に計算されている指標には、次に述べるカテゴリごとのカッパ統計量（Fleiss 1981）が使われています。
以下の式において、次の記号を用います。
• n = 部品の数（グループ変数がもつ水準の数）
• m = 判定者の数
• k = 水準の数
• ri = 部品i（i = 1, ..., n）の判定回数（繰り返し数）
• Ni = m × ri。部品i（i = 1, 2, ..., n）の判定回数。これには、判定者全員を表す応答と、部品ごとの繰り返しの判定も含まれます。たとえば、部品iが3人の判定者により2回判定された場合、Niは3 × 2 = 6となります。
• xij = 部品i（i = 1, 2, ..., n）において水準j（j = 1, 2, ..., k）と判定された回数
カテゴリごとのカッパ統計量は、次のように計算されます。
これらをまとめた全体のカッパ統計量は、次のように計算されます。
と
の分散は、次の式で計算されます。
部品あたりの判定回数が等しい場合（i = 1, ..., nのすべてでNi = Nの場合）のみ、
および
の標準誤差が表示されます。