모형 비교의 추가 예
이 예에서는 로지스틱 회귀 모형과 의사 결정 나무 모형을 비교합니다. 자동차 데이터를 사용하며, 구매한 차량의 크기를 예측하는 것이 목표입니다.
도움말 > 샘플 데이터 폴더를 선택하고 Car Physical Data.jmp를 열어 시작합니다.
로지스틱 회귀 모형 생성
1. 분석 > 모형 적합을 선택합니다.
2. Type을 선택하고 Y를 클릭합니다.
3. Country, Weight, Turning Cycle, Displacement 및 Horsepower 열을 선택하고 추가를 클릭합니다.
4. 실행을 클릭합니다.
명목형 로지스틱 적합 보고서가 나타납니다.
5. 예측 계산식을 열에 저장하려면 "명목형 로지스틱"의 빨간색 삼각형을 클릭하고 확률 계산식 저장을 선택합니다.
의사 결정 나무 모형 생성 및 열에 예측 계산식 저장
1. 분석 > 예측 모델링 > 파티션을 선택합니다.
2. Type을 선택하고 Y, 반응을 클릭합니다.
3. Country, Weight, Turning Cycle, Displacement 및 Horsepower 열을 선택하고 X, 요인을 클릭합니다.
4. "방법" 목록에서 의사 결정 나무가 선택되어 있는지 확인합니다.
5. 확인을 클릭합니다.
분할 보고서가 나타납니다.
6. Shift 키를 누른 채 분할을 클릭합니다.
7. "분할 수 입력" 옆에 "10"을 입력합니다.
8. 확인을 클릭합니다.
9. 예측 계산식을 열에 저장하려면 "분할"의 빨간색 삼각형을 클릭하고 열 저장 > 예측 계산식 저장을 선택합니다.
모형 비교
1. 분석 > 예측 모델링 > 모형 비교를 선택합니다.
2. 확률로 시작하는 모든 열을 선택하고 Y, 예측 변수를 클릭합니다.
3. 확인을 클릭합니다.
그림 11.7 초기 모형 비교 보고서
보고서에 따르면 파티션 모형의 엔트로피 R² 및 일반화 R² 값이 약간 더 높고 오분류 비율 값이 약간 더 낮습니다.
4. "모형 비교"의 빨간색 삼각형을 클릭하고 ROC 곡선을 선택합니다.
각 Type에 대한 ROC 곡선이 나타납니다. Figure 11.8에는 Medium Type에 대한 곡선이 표시되어 있습니다.
그림 11.8 Medium에 대한 ROC 곡선
모든 ROC 곡선을 검토하면 두 모형의 예측 능력이 비슷하다는 것을 알 수 있습니다.
5. "모형 비교"의 빨간색 삼각형을 클릭하고 AUC 비교를 선택합니다.
각 Type에 대한 AUC 비교 보고서가 나타납니다. Figure 11.9에는 Medium Type에 대한 보고서가 표시되어 있습니다.
그림 11.9 Medium에 대한 AUC 비교
이 보고서에는 AUC 값(ROC 곡선 아래 면적)의 차이에 대한 가설 검정 결과가 표시됩니다. 결과를 검토하면 모든 Type 수준의 값 사이에 통계적 차이가 없음을 알 수 있습니다.
다음과 같은 이유로 두 모형의 예측 능력에 큰 차이가 없다는 결론을 내릴 수 있습니다.
• R² 값 및 ROC 곡선이 비슷합니다.
• AUC 값 사이에 통계적으로 유의한 차이가 없습니다.