검증 열 역할은 데이터를 교차 검증 데이터 집합으로 분할하기 위한 프레임워크를 제공합니다. 또한 일부 JMP 플랫폼에서는 K 폴드 및 다양한 유형의 홀드백 검증을 지원합니다.
K 폴드 교차 검증
원래 데이터를 K개의 부분집합으로 나눕니다. 그러면 K개의 모형 전체를 적합시킬 때 K개의 집합 각각이 나머지 데이터에 대한 모형 적합을 검증하는 데 사용됩니다. 최량 검증 통계량을 생성하는 모형이 최종 모형으로 선택되고, 해당 모형을 생성하는 데 사용되지 않은 폴드는 보고서에 표시된 검증 데이터 집합 성능 통계량을 제공합니다.
참고: 일부 플랫폼의 경우 모형 제어판에서 K 폴드 교차 검증을 지정해야 합니다. 다른 플랫폼의 경우 플랫폼 시작 창에서 K 폴드 교차 검증을 지정해야 합니다. 수준이 네 개 이상 포함된 검증 열을 통해 K 폴드 교차 검증을 지정해야 하는 플랫폼도 있습니다.
랜덤 검증 홀드백
(특정 플랫폼의 시작 옵션으로 사용 가능) 원래 데이터를 무작위로 훈련 데이터 집합과 검증 데이터 집합으로 나눕니다. 테스트 데이터 집합을 포함할 수도 있습니다. 원래 데이터 중 각 데이터 집합에 사용할 데이터의 비율을 지정할 수 있습니다.
Leave-One-Out 검증 홀드백
(특정 플랫폼의 옵션으로 사용 가능) 관측값을 한 번에 하나씩 제외하면서 모형을 반복적으로 적합시킵니다. Leave-One-Out 검증은 잭나이프 절차라고도 합니다.
제외된 행을 검증 홀드백으로 사용
데이터 테이블에서 제외된 행을 검증 홀드백 집합으로 사용합니다. JMP Pro의 경우 플랫폼 환경 설정에서 이 옵션을 선택하여 사용할 수 있습니다.
참고: 제외된 행을 검증 홀드백 집합으로 사용할 수 있는 플랫폼에서는 시작 창에서 검증 열 또는 검증 비율을 지정하지 않은 경우에만 제외된 행이 사용됩니다.
표 A.2 플랫폼별 K 폴드 및 홀드백 검증
|
플랫폼 |
제외된 행을 검증 홀드백으로 사용 |
랜덤 검증 홀드백 |
Leave-One-Out 홀드백 |
K 폴드 교차 검증 |
|---|---|---|---|---|
|
모형 적합 |
|
|
|
|
|
최소 제곱 적합 |
아니요 |
아니요 |
아니요 |
아니요 |
|
단계별 회귀 |
아니요 |
아니요 |
아니요 |
예(연속형 반응 모형의 경우만 해당) |
|
로지스틱 회귀 |
아니요 |
아니요 |
아니요 |
아니요 |
|
|
아니요 |
예 |
예 |
예(모형 제어판을 통해) |
|
|
아니요 |
예 |
예 |
예(모형 제어판을 통해) |
|
예측 모형 |
|
|
|
|
|
신경망 |
예 |
예 |
아니요 |
예(모형 시작 창 또는 검증 열을 통해) |
|
파티션 |
예 |
예 |
아니요 |
예(플랫폼 환경 설정에서 옵션 선택) |
|
|
예 |
예 |
아니요 |
아니요 |
|
|
예 |
예 |
아니요 |
아니요 |
|
|
예 |
예 |
아니요 |
아니요 |
|
|
예 |
예 |
아니요 |
아니요 |
|
|
아니요 |
예 |
아니요 |
예(모형 시작 창을 통해) |
|
전문 모형 |
|
|
|
|
|
|
아니요 |
아니요 |
아니요 |
아니요 |
|
다변량 모형 |
|
|
|
|
|
판별 |
선택적 |
아니요 |
아니요 |
아니요 |
|
부분 최소 제곱 |
아니요 |
예 |
예 |
예(모형 시작 창 또는 검증 열을 통해) |
|
|
아니요 |
예 |
|
아니요 |