서포트 벡터 머신 개요

SVM(서포트 벡터 머신) 모형은 새 관측값을 예측하거나 분류하는 데 사용되는 지도 학습 알고리즘입니다. 모형은 반응이 알려진 훈련 데이터 집합에 대해 적합됩니다. 그런 다음 모형을 사용하여 새 관측값의 반응을 예측합니다.

반응이 범주형인 경우 SVM 모형은 클래스를 구분하는 초평면을 최적화하여 데이터를 분류합니다. 이것은 클래스 간의 마진을 최대화하는 초평면을 찾는 것으로 볼 수도 있습니다. 단순한 문제에서 이 초평면은 선형입니다. 그러나 더 복잡한 데이터는 선형으로 구분할 수 없는 경우가 많습니다. 이러한 경우 SVM 플랫폼에서는 방사 기저 함수 커널을 사용하는 옵션을 제공하여 클래스를 더 쉽게 분리할 수 있는 비선형 차원에 점을 매핑합니다.

반응이 연속형인 경우 적합된 모형을 SVR(서포트 벡터 회귀) 모형이라고 합니다. 일반적인 회귀 분석 문제의 목표는 예측 반응과 실제 반응 사이의 오차를 최소화하는 모형을 적합시키는 것입니다. SVR 문제의 목표는 예측 반응과 실제 반응 사이의 오차가 -e ~ e 범위 내에 속하도록 모형을 적합시키는 것입니다. 이렇게 하면 더 유연한 적합을 얻게 됩니다. JMP Pro에서 e는 0.1과 같습니다. SVR 알고리즘은 Y + e와 Y - e라는 두 클래스를 생성하여 데이터를 두 배로 늘립니다. 그런 다음 분류 문제에 사용된 동일한 알고리즘이 예측(SVR) 문제에도 사용됩니다.

SVM 알고리즘의 최대화는 2차 계획법 문제의 해를 구하여 수행됩니다. JMP Pro에서 SVM 플랫폼에 사용되는 알고리즘은 1998년 John Platt이 소개한 SMO(Sequential Minimal Optimization) 알고리즘을 기반으로 합니다. 일반적으로 SVM 2차 계획법 문제는 상당히 큰 규모입니다. SMO 알고리즘은 전체 2차 계획법 문제를 일련의 더 작은 2차 계획법 문제로 분할합니다. 더 작은 2차 계획법 문제는 수치적 계산 대신 분석적으로 해를 구합니다. 즉, 닫힌 형식의 해가 생성됩니다. 따라서 SMO 알고리즘은 전체 2차 계획법 문제의 해를 구하는 것보다 더 효율적입니다(Platt 1998).