모형 선별 플랫폼에서 "결정 임계값" 보고서를 사용하면 이항 분류 모형에 대한 임계값을 탐색할 수 있습니다. 검증 방법으로 지정된 각 모형 데이터 집합에 대한 "결정 임계값" 보고서가 있습니다. 훈련 데이터 집합, 훈련 및 검증 데이터 집합 또는 훈련, 검증 및 테스트 데이터 집합이 될 수 있습니다. 각 "결정 임계값" 보고서에는 적합 확률 분포 그래프, 분류 막대 차트 및 혼동 행렬이 포함되어 있습니다. 모두 모형 적합, 폴드, 시행 및 클래스 수준별로 구성됩니다. 보고서에는 분류 정확성 측도에 대한 탭 형식 섹션과 수익 행렬 설정 옵션도 포함되어 있습니다. 확률 임계를 조정하면 보고서가 업데이트됩니다.
적합 확률 분포 또는 모형 스코어를 통해 각 개별 모형 적합이 두 클래스를 어떻게 구분하는지 확인할 수 있습니다. 그래프의 세로선은 각 관측값의 분류를 결정하는 확률 임계를 나타냅니다. 기본적으로 확률 임계는 0.5입니다. 세로선을 드래그하거나, "확률 임계" 값을 클릭하고 새 값을 입력하여 확률 임계를 변경할 수 있습니다. 그러면 전체 "결정 임계값" 보고서에서 확률 임계값이 변경됩니다. 확률 임계값은 0에서 1 사이여야 합니다.
분류 막대 차트에는 현재 임계에서 반응 변수의 각 수준에 대한 분류 개수가 표시됩니다. 녹색 막대는 올바르게 분류된 관측값을 나타내고 빨간색 막대는 잘못 분류된 관측값을 나타냅니다.
분할표라고도 하는 혼동 행렬은 각 개별 모형 적합에 대한 실제 반응과 예측 반응의 이원 분류를 보여 줍니다. 혼동 비율 행렬도 표시됩니다. 비율은 혼동 행렬의 값을 행 합계로 나눈 것과 같습니다.
임계별 분류(False)
오분류 수 대 확률 임계 그림과 오분류 비율 대 확률 임계 그림을 표시합니다. 각 그림에는 각 개별 모형 적합에 대한 두 개의 곡선이 포함됩니다. 낮은 반응 범주의 곡선은 실선이고 높은 반응 범주의 곡선은 파선입니다. 곡선은 각 반응 수준에 대해 동일한 오분류 수 또는 비율을 생성하는 임계값에서 교차합니다. 또한 각 그래프에는 현재 확률 임계값을 나타내는 세로선이 있습니다. 이 세로선을 드래그하여 확률 임계값을 변경할 수 있습니다. 그러면 전체 보고서에서 확률 임계값이 변경됩니다.
비율별 분류(False)
오분류 수 대 순위별 스코어 비율 그림 또는 오분류 비율 대 순위별 스코어 비율 그림을 표시합니다. 각 그림에는 각 개별 모형 적합에 대한 두 개의 곡선이 포함됩니다. 낮은 반응 범주의 곡선은 실선이고 높은 반응 범주의 곡선은 파선입니다.
임계별 분류(True)
True 수 대 확률 임계 그림과 True 비율 대 확률 임계 그림을 표시합니다. 각 그림에는 각 개별 모형 적합에 대한 두 개의 곡선이 포함됩니다. 낮은 반응 범주의 곡선은 파선이고 높은 반응 수준의 곡선은 실선입니다. 곡선은 각 반응에 대해 동일한 올바른 분류 수 또는 비율을 생성하는 임계값에서 교차합니다. 또한 각 그래프에는 현재 확률 임계값을 나타내는 세로선이 있습니다. 이 세로선을 드래그하여 확률 임계값을 변경할 수 있습니다. 그러면 전체 보고서에서 확률 임계값이 변경됩니다.
비율별 분류(True)
True 수 대 순위별 스코어 비율 그림 또는 True 비율 대 순위별 스코어 비율 그림을 표시합니다. 각 그림에는 각 개별 모형 적합에 대한 두 개의 곡선이 포함됩니다. 낮은 반응 범주의 곡선은 파선이고 높은 반응 범주의 곡선은 실선입니다.
임계별 수익
(수익 행렬을 지정한 경우에만 사용 가능) 평균 수익 대 확률 임계 그림을 표시합니다. 각 개별 모형 적합에 대한 곡선과 현재 확률 임계값을 나타내는 세로선이 있습니다. 지정된 수익 행렬도 그림 옆에 표시됩니다.
측정 기준
각 모형에 대한 분류 정확성 측정 기준 테이블을 표시합니다. 각 열의 측정 기준이 계산되는 방법을 설명하는 범례가 제공됩니다.
참고: 덜 일반적인 두 가지 분류 정확성 측정 기준은 F1과 MCC입니다. F1 스코어는 정밀도와 재호출 또는 민감도의 조합입니다. F1을 계산하는 또 다른 방법은 2(정밀도 ´ 민감도)/(정밀도 + 민감도)입니다. MCC(Mathews 상관계수)는 두 이항 변수에 대해 추정된 Pearson 상관계수와 동일합니다. 자세한 내용은 다변량 방법 Pearson 곱적률 상관계수에 대한 통계 상세 정보에서 확인하십시오.
원하지 않는 결과에 비용을 할당하고 원하는 결과에 수익을 할당할 수 있습니다. 자세한 내용은 수익 행렬 지정에서 확인하십시오. 수익 행렬 창에서 확률 임계를 변경하고 "확인"을 클릭하면 해당 값을 확률 임계로 사용하여 "결정 임계값" 보고서가 업데이트됩니다.