통계량을 신뢰하려면 사용 기법에 대한 제한 사항과 값에 대해 잘 알고 있어야 합니다. 통계 방법은 도구일 뿐이므로 정확하지 않은 과학(근거 없는 통계적 가정) 또는 잘못된 데이터에 대비하거나 책임지지 않습니다.
대부분의 통계량은 모형이 올바르다는 가정을 기반으로 합니다. 모형이 올바르지 않게 될 정도로 모형에서 생성되는 통계 보고서의 신뢰도를 줄여야 합니다.
대부분의 통계 검정에서는 모형을 절대적 의미로 평가하지 않습니다. 검정 통계량이 유의하면 모형이 평균과 같은 일부 축소 모형보다 더 잘 적합된다는 정도로만 해석할 수 있습니다. 모형이 데이터를 적합시킬 수 있지만 기본 물리적 모형을 완전히 잘 설명하지 못할 수 있습니다.
보통 통계 결과의 값은 그것을 있는 그대로 믿기보다는 어떤 발견의 실마리를 제공합니다. 그 발견을 사실로 확인하기 위해 추가 연구를 수행해야 할 수도 있습니다. 그렇지 않으면 그냥 데이터를 선별하는 것입니다.
예를 들어 충분한 분석을 수행하면 요인에 예측값이 없더라도 연구의 5%에서 5%의 유의한 효과를 발견할 수 있습니다. 마찬가지로 데이터에 대한 올바른 모형을 검정하는 대신 데이터를 사용하여 모형의 형태만 만들면 보고서의 유의 수준이 변질됩니다. 그러면 랜덤 오차가 모형 선택에 영향을 주고 모형이 실제보다 우수하다고 믿게 됩니다.
다음과 같은 다양한 기법과 패턴을 사용하여 모형의 타당도를 평가할 수 있습니다.
• 적합 결여 검정을 사용하면 포화 상태의 요인과 비교하여 모형 타당도를 확인할 수 있습니다. 포화되지 않은 모형의 반복된 x 값이 데이터에 포함된 경우 모형 적합 플랫폼에서 이러한 검정을 자동으로 제공합니다.
• 모형 적합 플랫폼에서 잔차 그림과 스튜던트화 잔차 그림을 검토하여 연속형 반응에 대한 분포 가정을 확인할 수 있습니다. 아니면 플랫폼 팝업 메뉴에서 저장 명령을 사용하여 데이터 테이블 열에 잔차를 저장합니다. 그런 다음 해당 열에서 분석 > 분포를 사용하여 정규 곡선이 있는 히스토그램 및 정규 분위수 그림을 검토합니다. 잔차가 완전히 독립적이지는 않지만 심각한 비정규 분포를 식별할 수 있습니다.
• 연속형 반응을 위한 최적의 종합 진단 도구는 각 점이 각 가설 검정에 미치는 영향을 보여 주는 레버리지 그림입니다. 데이터에 잘못된 값이 있다고 의심되는 경우 이 그림은 통계 검정이 단일 점의 영향을 심하게 받는지 여부를 판별하는 데 도움이 됩니다.
• 데이터에서 이상치를 스캔하여 올바른 관측값인지 여부를 검토하는 것이 좋습니다. 분포 플랫폼 보고서 및 그림에서 단변량 이상치를 발견할 수 있습니다. 이변량 이상치는 X로 Y 적합 산점도 및 다변량 산점도 행렬에 나타납니다. 삼변량 이상치는 그래프 > 3D 산점도에서 생성된 3차원 그림에서 확인할 수 있습니다. 더 높은 차원의 이상치는 주성분 또는 3D 산점도를 사용하거나, 다변량 플랫폼에서 계산 및 표시된 Mahalanobis 거리와 잭나이프 거리를 사용하여 찾을 수 있습니다.
통계 문헌에 특수한 비모수 방법 및 로버스트 방법이 설명되어 있지만 현재 JMP에서는 일부만 구현됩니다. 이러한 방법은 분포 가정이 더 적어야 하고(비모수) 오염의 영향을 덜 받습니다(로버스트). 그러나 일반적인 방법론적 접근법에는 도움이 되지 않고 검정 통계량에 대한 표본 확률이 작아 계산에 시간이 많이 걸릴 수 있습니다.
선형 순위 검정에 관심이 있고 정규 대표본 유의성 근사만 필요한 경우 데이터 순위를 분석하여 Wilcoxon 순위합 검정 또는 Kruskal-Wallis 일원 검정과 동등한 작업을 수행할 수 있습니다.
연속형 반응이 정규성 가정을 적절하게 충족하는지 확실치 않은 경우, 모델링 유형을 연속형에서 순서형으로 변경한 후 안전하게 분석할 수 있습니다. 그러나 이 방법을 사용하면 풍부한 표현 방식과 통계 검정력을 일부 포기해야 합니다.